[논문 리뷰] Path Integral Control by Reproducing Kernel Hilbert Space Embedding

Konrad Rawlik, Marc Toussaint외 1명|arXiv (Cornell University)|2012. 08. 13.

Model Reduction and Neural Networks참고 문헌 23인용 수 20

한 줄 요약

이 논문은 경로 적분 제어 문제를 재생 커널 힐버트 공간(RKHS)에 통합하여, 표본 복제를 통해 효율적인 표본 재사용이 가능한 모델-무관이고 비모수적 방법을 제안한다. 경로 적분을 직접 샘플링하는 대신 RKHS 내 공분산 연산자를 추정함으로써, 공통된 역학을 가진 제어 작업 간의 전이 학습을 가능하게 하며, 표본 복잡도를 크게 감소시킨다.

ABSTRACT

We present an embedding of stochastic optimal control problems, of the so called path integral form, into reproducing kernel Hilbert spaces. Using consistent, sample based estimates of the embedding leads to a model free, non-parametric approach for calculation of an approximate solution to the control problem. This formulation admits a decomposition of the problem into an invariant and task dependent component. Consequently, we make much more efficient use of the sample data compared to previous sample based approaches in this domain, e.g., by allowing sample re-use across tasks. Numerical examples on test problems, which illustrate the sample efficiency, are provided.

연구 동기 및 목표

• 전통적인 몬테카를로 방법이 경로 적분 제어에서 높은 표본 복잡도를 보이는 문제를 해결하기 위해, 특히 각 새로운 작업에 대해 재학습이 필요한 경우에 대비한다.
• 재학습이 필요 없이 데이터 재수집 없이 관련된 제어 작업 간 전이 학습을 가능하게 하는 모델-무관이고 비모수적 프레임워크를 개발한다.
• 제어 문제를 불변(역학 및 노이즈) 성분과 작업에 따라 달라지는 성분(비용 함수)으로 분해하여 표본 효율성을 향상시킨다.
• RKHS 통합을 통해 경로 적분에 대한 일致성 있고 확장 가능한 추정기(estimator)를 제공함으로써 수렴 보장을 보장한다.
• 선형적으로 해결 가능한 MDP를 초월하여 더 넓은 범위의 스토하스틱 최적 제어 문제에 적용 가능하도록 확장한다.

제안 방법

• 경로 적분 제어 문제를 재생 커널 힐버트 공간(RKHS)에 통합하여, 해를 공분산 연산자 추정 문제로 변환한다.
• RKHS 연산자의 일관된 표본 기반 추정기(estimator)를 사용하여 경로 적분을 직접 평가하지 않고도 값 함수 Ψ를 근사한다.
• 제어 문제를 불변 성분(역학 및 노이즈)과 작업에 의존하는 성분(비용 함수)으로 분해함으로써 표본 재사용을 가능하게 한다.
• 이전 작업에서 확보한 스킬 정책을 활용하여 새로운 작업의 정보성 있는 궤적을 생성함으로써, 낮은 확률 영역에서의 탐색 효율성을 향상시킨다.
• 시간 이산점에 걸쳐 재귀적 형식을 사용하여 Ψ를 추정하고, 커널 기반 연산자가 상태 궤적에 작용하도록 한다.
• 중요도 샘플링과 연산자 추정을 적용하여, 각 상태의 샘플링을 피하면서 ∇Ψ/Ψ를 통해 최적 정책 π*를 계산한다.

실험 결과

연구 질문

• RQ1 RKHS에 의한 경로 적분 통합이 스토하스틱 최적 제어에 대해 일관되고 비모수적 추정기(estimate)를 제공할 수 있는가?
• RQ2 불변 성분과 작업에 따라 달라지는 성분으로의 분해가 다양한 제어 작업 간 표본 재사용을 가능하게 하는가?
• RQ3 기존 몬테카를로 경로 적분 추정 방식과 비교해 본다면, 제안된 방법이 표본 복잡도를 감소시키는가?
• RQ4 공통된 역학을 가진 제어 작업에서 목표나 비용이 다를 경우에도 이 방법이 전이 학습을 지원하는가?
• RQ5 커널의 선택과 샘플링 전략이 추정기의 수렴성과 정확도에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 Ψ 추정치의 수렴 속도가 매우 빠르며, 단지 100개의 궤적 이후 L1 오차가 크게 감소하여 5000개 궤적 기준선의 성능에 근접한다.
• 스킬을 보완한 정책을 사용한 샘플링은 작업 관련 하위 공간에 집중함으로써 표본 복잡도를 감소시키고 탐색 효율성을 향상시킨다.
• 이 방법은 효과적인 전이 학습을 가능하게 하며, 여러 작업의 표본을 활용해 불변 역학 성분을 추정할 수 있어 각 새로운 작업에 대해 재수집이 필요 없게 된다.
• 추정기는 일관성과 수렴 보장을 유지하며, 이전 방법들이 표본 효율성을 위해 일관성을 포기하는 것과는 달리 그러한 보장을 확보한다.
• RKHS 통합 덕분에 상태 차원에 독립적인 연산자 구조를 가지므로 고차원 상태에 대해서도 확장 가능하다.
• 수치 결과는 일반화 능력과 표본 효율성 측면에서 표준 경로 적분 제어보다 제안된 방법이 뛰어나며, 특히 낮은 확률 궤적 영역에서 두드러진 성능 향상을 보였다.