[논문 리뷰] Model-based Path Integral Stochastic Control: A Bayesian Nonparametric Approach

Yunpeng Pan, Evangelos A. Theodorou외 1명|arXiv (Cornell University)|2014. 12. 09.

Gaussian Processes and Bayesian Inference참고 문헌 15인용 수 5

한 줄 요약

이 논문은 제한된 데이터로부터 시간에 따라 변화하는 최적 제어를 학습하기 위해 가우시안 프로세스와 경로 적분 형식을 사용하는 모델 기반 베이지안 비모수 스토하스틱 최적 제어 프레임워크를 제안한다. 분석적 경로 적분 해법과 반복적 중요도 샘플링을 활용함으로써, 샘플링 기반 경로 적분 제어 및 GP 기반 정책 탐색에 비해 특히 고차원 및 복잡한 작업(예: 카트폴 및 카트 双진동자 스윙업)에서 뛰어난 데이터 효율성과 학습 속도를 달성한다.

ABSTRACT

Over the last few years, sampling-based stochastic optimal control (SOC) frameworks have shown impressive performances in reinforcement learning (RL) with applications in robotics. However, such approaches require a large amount of samples from many interactions with the physical systems. To improve learning efficiency, we present a novel model-based and data-driven SOC framework based on path integral formulation and Gaussian processes (GPs). The proposed approach learns explicit and time-varying optimal controls autonomously from limited sampled data. Based on this framework, we propose an iterative control scheme with improved applicability in higher-dimensional and more complex control tasks. We demonstrate the effectiveness and efficiency of the proposed framework using two nontrivial examples. Compared to state-of-the-art RL methods, the proposed framework features superior control learning efficiency.

연구 동기 및 목표

• 고차원 로봇 시스템에서 샘플링 기반 스토하스틱 최적 제어(SOC) 방법의 데이터 비효율성을 해결한다.
• 기존 SOC 프레임워크에서 고정된 정책 파arameterization의 한계를 극복하기 위해 비모수적이고 모델 기반의 최적 제어 학습을 가능하게 한다.
• 가우시안 프로세스 동역학 모델과 분석적 경로 적분 해법을 통합하여 학습 속도와 데이터 효율성을 향상시킨다.
• 비제어 동역학 샘플링이 부족한 복잡한 언더액추에이티드 시스템에서 성능을 향상시키기 위해 반복적 제어 기반의 방법을 개발한다.
• PILCO 및 반복적 PI와 같은 최신 기법들과 비교해 데이터 소비, 계산 시간, 제어 품질 측면에서 뛰어난 성능을 입증한다.

제안 방법

• 모델링되지 않은 드리프트 및 확산 행렬을 가진 연속시간 SDE를 사용하여 스토하스틱 최적 제어 문제를 설정하며, 이는 비모수적으로 가우시안 프로세스를 통해 모델링된다.
• 헤이븐-잭 공식을 적용하여 하밀턴-자비-벨만 방정식을 경로 적분 표현으로 변환함으로써 최적 제어의 분석적 계산을 가능하게 한다.
• 제한된 샘플 트랙토리에서 가우시안 프로세스를 사용해 동역학 모델을 학습하고, 베이지안 프레임워크 내에서 모델 불확실성을 통합한다.
• 비제어 동역학 대신 제어된 동역학에서의 샘플을 사용하는 중요도 샘플링 기반의 반복적 제어 기반을 구현한다.
• 수치적 PDE 해법이나 반복 최적화를 피하기 위해 경로 적분의 분석적 평가를 통해 명시적이고 시간에 따라 변화하는 최적 제어 법칙을 유도한다.
• 두 가지 변형을 도입한다: 비제어 동역학 샘플링 기반 GPPI와 제어된 동역학에서의 중요도 샘플링을 통한 반복적 정밀화를 적용한 iGPPI로, 모두 분석적 경로 적분 해법을 활용한다.

실험 결과

연구 질문

• RQ1 샘플링 기반 경로 적분 방법에 비해, 베이지안 비모수적 모델 기반 접근이 스토하스틱 최적 제어에서 데이터 효율성을 향상시킬 수 있는가?
• RQ2 분석적 경로 적분 해법과 결합된 가우시안 프로세스 동역학 모델이 고차원 시스템에서 학습 속도와 제어 성능에 어떤 영향을 미치는가?
• RQ3 제어된 동역학에서의 중요도 샘플링을 통한 반복적 정밀화가 복잡한 언더액추에이티드 작업에서 성능 향상에 얼마나 기여하는가?
• RQ4 어려운 제어 과제에서 PILCO 및 반복적 PI와 비교해 제안된 프레임워크의 데이터 효율성과 계산 비용은 어떠한가?
• RQ5 사전 정책 파arameterization이나 외부 최적화 솔버에 의존하지 않고도 최적 제어를 학습할 수 있는가?

주요 결과

• GPPI와 iGPPI는 반복적 PI 제어와 유사한 최적 제어 성능을 달성하지만, 훨씬 적은 샘플 데이터 포인트와 총 계산 시간을 요구한다.
• 비제어 동역학에서의 샘플링이 수렴에 부족한 복잡한 과제(예: 카트-이중 역진동자 스윙업)에서 iGPPI는 GPPI를 능가하는 성능을 보인다.
• 제안된 프레임워크는 샘플링 기반 PI 제어에 비해 데이터 소비와 학습 시간을 감소시켜 뛰어난 데이터 효율성을 입증한다.
• PILCO가 일부 경우에서 더 뛰어난 데이터 효율성을 보이더라도, 반복적 정책 최적화가 필요 없는 점을 고려할 때 제안된 방법은 더 빠른 학습 속도를 달성한다.
• 반복적 기반(예: iGPPI)은 고차원 및 언더액추에이티드 시스템에서 종료 비용 감소 측면에서 더 나은 성능을 보이며, 복잡한 제어 과제에 대한 적용 가능성 향상을 확인한다.
• 분석적 경로 적분 형식은 수치적 PDE 해법이나 기울기 기반 최적화 없이 명시적이고 폐형의 제어 법칙을 가능하게 하여 계산 효율성을 향상시킨다.