[논문 리뷰] Variational Inference MPC for Bayesian Model-based Reinforcement Learning

Masashi Okada, Tadahiro Taniguchi|arXiv (Cornell University)|2019. 07. 08.

Reinforcement Learning in Robotics참고 문헌 38인용 수 29

한 줄 요약

이 논문은 CEM과 같은 확률적 모델 예측 제어(MPC) 방법을 통합적이고 불확실성 인식 방식으로 재구성하는 베이지안 프레임워크인 변분 추론 MPC(VI-MPC)를 제안한다. Probabilistic Action Ensembles with Trajectory Sampling(PaETS)를 도입하여 행동의 다중모달 불확실성을 가우시안 혼합 모델(GMM)을 사용해 모델링함으로써, 역학과 최적 궤적에서의 동시 불확실성 모델링을 가능하게 하여 MuJoCo의 이동 작업에서 PETS에 비해 점점 향상되는 성능을 달성한다.

ABSTRACT

In recent studies on model-based reinforcement learning (MBRL), incorporating uncertainty in forward dynamics is a state-of-the-art strategy to enhance learning performance, making MBRLs competitive to cutting-edge model free methods, especially in simulated robotics tasks. Probabilistic ensembles with trajectory sampling (PETS) is a leading type of MBRL, which employs Bayesian inference to dynamics modeling and model predictive control (MPC) with stochastic optimization via the cross entropy method (CEM). In this paper, we propose a novel extension to the uncertainty-aware MBRL. Our main contributions are twofold: Firstly, we introduce a variational inference MPC, which reformulates various stochastic methods, including CEM, in a Bayesian fashion. Secondly, we propose a novel instance of the framework, called probabilistic action ensembles with trajectory sampling (PaETS). As a result, our Bayesian MBRL can involve multimodal uncertainties both in dynamics and optimal trajectories. In comparison to PETS, our method consistently improves asymptotic performance on several challenging locomotion tasks.

연구 동기 및 목표

• 기존의 불확실성 인식 MBRL 방법들이 최적 궤적에서의 다중모달 불확실성을 모델링하지 못하는 한계를 해결하기 위해.
• CEM, MPPI, CMA-ES와 같은 다양한 확률적 MPC 방법들을 단일 베이지안 변분 추론 프레임워크 아래 통합하기 위해.
• 역학과 행동 궤적 양쪽에서의 불확실성을 통합함으로써 어려운 이동 작업에서 MBRL의 점 渐진 성능을 향상시키기 위해.
• PETS에 대한 단순하면서도 효과적인 확장 기법을 개발하여 계산 오버헤드를 증가시키지 않고도 샘플 효율성과 일반화 능력을 향상시키기 위해.

제안 방법

• MPC를 변분 추론으로 재구성하는 새로운 VI-MPC 프레임워크를 제안하여, 베이지안 MBRL 설정 하에서 궤적 최적화를 후행 분포 근사로 간주한다.
• 확률적 MPC 방법들을 최적 궤적 후행 분포에 대한 모멘트 매칭 절차로 재구성함으로써, 통합된 베이지안 해석을 가능하게 한다.
• 행동에 대한 변분 분포로 가우시안 혼합 모델(GMM)을 사용하는 PaETS를 도입하여 다중모달 불확실성을 포괄하는 VI-MPC의 특정 사례를 제시한다.
• 행동 분포를 나타내기 위해 미분 가능한 GMM 기반의 변분 분포 $ q(\mathbf{a}; \phi) $ 를 사용하여 기울기 기반 최적화를 통한 엔드 투 엔드 학습을 가능하게 한다.
• GMM를 통한 재구성 기법을 적용하여 GMM를 통해 역전파가 가능하게 하여 변분 파rameter의 효율적 최적화를 가능하게 한다.
• 탐색을 장려하고 행동 앙상블의 다양성을 향상시키기 위해 엔트로피 정규화를 적용하며, 이는 다중모달 불확실성 모델링과 상호보완적이다.

실험 결과

연구 질문

• RQ1 CEM과 MPPI와 같은 확률적 MPC 방법들이 베이지안 변분 추론 프레임워크 아래에서 체계적으로 통합될 수 있는가?
• RQ2 최적 궤적에서의 다중모달 불확실성 모델링이 MBRL의 점 渐진 성능 향상에 기여하는가?
• RQ3 GMM 기반의 변분 분포를 통해 역학과 행동 궤적 양쪽에서의 불확실성을 통합적으로 고려하면 기존의 불확실성 인식 MBRL 기준선을 초월하는가?
• RQ4 최적성 정의(예: CEM 대비 MPPI)와 정규화 가중치의 선택이 다양한 작업에서 성능에 미치는 영향은 어떠한가?

주요 결과

• PaETS는 Ant, HalfCheetah, Walker2d를 포함한 여러 MuJoCo 이동 작업에서 PETS 기준선을 통계적으로 유의미하게(유의수준 p < 0.01) 초월한다.
• 메서드는 PETS보다 높은 점 渐진 성능을 달성하여, 행동의 다중모달 불확실성 모델링이 정책 학습과 샘플 효율성을 향상시킨다는 것을 입증한다.
• 실험 결과, PaETS에서 GMM의 구성 요소 수 M=5가 최적의 성능을 내며, 효과적인 다중모달 표현을 위해 중간 크기의 앙상블이 충분함을 시사한다.
• 정규화 가중치 $ \kappa $ 는 작업에 따라 최적의 값이 존재하며, 너무 높거나 너무 낮게 설정할 경우 성능이 저하됨을 확인하여 하이퍼파rameter 튜닝에 민감함을 보였다.
• 제안된 VI-MPC 프레임워크는 다양한 작업에서 잘 일반화되며, Ant와 같은 환경에서는 MPPI 기반 최적성 방식이 기존 CEM보다 뛰어난 성능을 보여, 작업별 최적성 선택의 유용성을 입증한다.
• PETS와 비교해 계산 비용의 유의미한 증가 없이도 수행 가능하여, 기존 MBRL 파이프라인에 실용적이고 확장 가능한 확장 기법임을 입증한다.