[논문 리뷰] Sample Efficient Path Integral Control under Uncertainty

Yunpeng Pan, Evangelos A. Theodorou외 1명|arXiv (Cornell University)|2015. 09. 06.

Model Reduction and Neural Networks참고 문헌 25인용 수 15

한 줄 요약

이 논문은 확률적 동역학 모델과 전진-후진 최적화 기반의 프레임워크를 활용하여 정책 파rameter화 없이 해석적으로 최적 제어 법칙을 계산하는 샘플 효율적인 모델 기반 경로 적분 제어 프레임워크를 제안한다. 컨트롤러의 조합성 덕분에 다양한 작업에서 뛰어난 샘플 효율성과 일반화 능력을 확보하며, 로봇 제어 작업에서 최신 기법들보다 샘플 및 계산 효율성 면에서 뛰어난 성능을 발휘한다.

ABSTRACT

We present a data-driven optimal control framework that can be viewed as a generalization of the path integral (PI) control approach. We find iterative feedback control laws without parameterization based on probabilistic representation of learned dynamics model. The proposed algorithm operates in a forward-backward manner which differentiate from other PI-related methods that perform forward sampling to find optimal controls. Our method uses significantly less samples to find optimal controls compared to other approaches within the PI control family that relies on extensive sampling from given dynamics models or trials on physical systems in model-free fashions. In addition, the learned controllers can be generalized to new tasks without re-sampling based on the compositionality theory for the linearly-solvable optimal control framework. We provide experimental results on three different systems and comparisons with state-of-the-art model-based methods to demonstrate the efficiency and generalizability of the proposed framework.

연구 동기 및 목표

• 광범위한 전진 샘플링 또는 물리적 시도에 의존하는 기존 경로 적분 제어 방법의 샘플 비효율성 문제를 해결하기 위해.
• 정책 파arameter화의 제약으로 인해 해 공간이 제한되고 일반화가 불가능한 모델 기반 제어의 한계를 극복하기 위해.
• 재샘플링 없이도 새로운 작업에 대해 학습된 컨트롤러를 일반화할 수 있도록 선형 가소성 최적 제어 프레임워크 내의 조합성 원리를 활용하기 위해.
• 동역학 모델의 불확실성 정량화를 제어 비용 설정에 통합하여, 노이즈 수준에 따라 제어 가중치를 동적으로 조정하기 위해.
• 기존의 전진 샘플링 기반 PI 방법과 다름없는 전진-후진 알고리즘 구조를 개발하여 수렴성과 효율성을 향상시키기 위해.

제안 방법

• 소수의 데이터 샘플에서 수동 동역학(드프트 항)을 가우시안 프로세스 회귀를 통해 학습하여, 시스템 불확실성의 확률적 표현을 제공한다.
• 전진-후진 최적화 기반의 절차를 적용: 먼저 학습된 동역학에 대해 결정론적 근사 인프러런스를 수행한 후, 찰플만-콜모고로프 PDE의 후진 해를 통해 최적 제어 법칙을 계산한다.
• 선형 가소성 최적 제어 프레임워크 내에서 PDE의 선형성 특성을 활용하여 정책 파arameter화 없이 해석적인 제어 법칙을 유도한다.
• 학습된 동역학 모델의 불확실성에 기반하여 제어 비용 가중치를 동적으로 조정함으로써, 제어 비용과 시스템 노이즈 간의 구조적 제약을 강제한다.
• 다양한 학습된 컨트롤러를 가중 평균 방식으로 조합하는 복합 컨트롤러 구성 규칙(식 18)을 활용하여, 새로운 작업에 대한 제로샷 일반화를 가능하게 한다.
• 각 시간 단계에서 온라인 재최적화를 수행함으로써 빠른 적응과 학습 중 샘플 효율성 향상을 달성한다.

실험 결과

연구 질문

• RQ1 광범위한 전진 샘플링이나 물리적 롤아웃을 피하는 경로 적분 제어 방법이 높은 샘플 효율성을 달성할 수 있는가?
• RQ2 불확실한 동역학 환경에서 사전 정책 파arameter화 없이 최적 제어 법칙을 해석적으로 도출할 수 있는가?
• RQ3 재샘플링 없이도 학습된 컨트롤러를 새로운 작업에 일반화할 수 있는가? 이러한 일반화를 가능하게 하는 조건은 무엇인가?
• RQ4 동역학 모델의 불확실성을 제어 비용 설정에 통합하면 강건성과 성능이 향상되는가?
• RQ5 제안된 전진-후진 기반의 방법은 기존의 전진 샘플링 기반 PI 방법과 비교해 샘플 및 계산 효율성 면에서 어떻게 다른가?

주요 결과

• 제안된 방법은 카트폴 및 더블 펜듈럼 작업에서 PILCO와 PDDP보다 훨씬 적은 샘플로 더 낮은 종료 상태 비용(ΨT)을 달성하여 뛰어난 샘플 효율성을 입증한다.
• 카트폴 스윙업 작업에서 제안된 방법은 10회의 시도 이내에 베이스라인 성능에 도달하지만, PILCO와 PDDP는 유사한 성능에 도달하기 위해 20회의 시도 이상을 필요로 한다.
• 전역 최적화로 인해 시도당 계산 시간은 PDDP보다 높지만, 여전히 합리적이며 샘플 집약적인 방법들보다 빠른 수렴을 가능하게 한다.
• 7개의 독립적으로 학습된 컨트롤러로부터 구성된 복합 컨트롤러는 재최적화된 컨트롤러의 타당성 점수와 5% 이내로 유사한 성능을 보이며, 다양한 작업에 대한 효과적인 제로샷 일반화를 입증한다.
• 대규모 비선형 최적화를 피함으로써 PILCO보다 계산 효율성이 뛰어나면서도 최신 기술 수준의 모델 기반 RL 방법과 유사한 샘플 효율성을 유지한다.
• 이 프레임워크는 각 시간 단계에서 온라인 재최적화를 가능하게 하여, 이 기법을 갖지 못한 방법들에 비해 샘플 효율성 향상과 더 빠른 수렴에 크게 기여한다.