[논문 리뷰] PlaNet of the Bayesians: Reconsidering and Improving Deep Planning Network by Incorporating Bayesian Inference

Masashi Okada, Norio Kosaka외 1명|arXiv (Cornell University)|2020. 03. 01.

Reinforcement Learning in Robotics참고 문헌 30인용 수 9

한 줄 요약

이 논문은 부분 관찰 가능한 환경에서 성능을 향상시키기 위해 신경망 앙상블을 통해 모델 및 동작 불확실성을 포함시킨 베이지안 확장인 PlaNet-Bayes를 제안한다. 변분 추론 MPC (VI-MPC)와 PaETS의 잠재 공간 버전을 통합함으로써 PlaNet에 비해 더 나은 불확실성 정량화와 多모드 계획을 통해 점점 더 향상된 점 渐진적 성능을 달성한다.

ABSTRACT

In the present paper, we propose an extension of the Deep Planning Network (PlaNet), also referred to as PlaNet of the Bayesians (PlaNet-Bayes). There has been a growing demand in model predictive control (MPC) in partially observable environments in which complete information is unavailable because of, for example, lack of expensive sensors. PlaNet is a promising solution to realize such latent MPC, as it is used to train state-space models via model-based reinforcement learning (MBRL) and to conduct planning in the latent space. However, recent state-of-the-art strategies mentioned in MBRR literature, such as involving uncertainty into training and planning, have not been considered, significantly suppressing the training performance. The proposed extension is to make PlaNet uncertainty-aware on the basis of Bayesian inference, in which both model and action uncertainty are incorporated. Uncertainty in latent models is represented using a neural network ensemble to approximately infer model posteriors. The ensemble of optimal action candidates is also employed to capture multimodal uncertainty in the optimality. The concept of the action ensemble relies on a general variational inference MPC (VI-MPC) framework and its instance, probabilistic action ensemble with trajectory sampling (PaETS). In this paper, we extend VI-MPC and PaETS, which have been originally introduced in previous literature, to address partially observable cases. We experimentally compare the performances on continuous control tasks, and conclude that our method can consistently improve the asymptotic performance compared with PlaNet.

연구 동기 및 목표

• PlaNet이 부분 관찰 가능한 환경에서 성능이 떨어지는 문제를 불확실성 인식 기반으로 해결하기 위해.
• 근사 베이지안 추론를 통해 모델 불확실성을 통합하여 학습 및 계획 성능를 향상시키기 위해.
• 확률적 동작 앙상블을 사용해 다중 모드 동작 불확실성을 모델링함으로써 계획의 견고성을 향상시키기 위해.
• VI-MPC 및 PaETS 프레임워크를 부분 관찰 가능한 마르코프 결정 과정의 잠재 공간 계획에 확장하기 위해.
• 불확실성 인식 모델링이 기준선 PlaNet에 비해 일관된 성능 향상을 이끌어내는지 입증하기 위해.

제안 방법

• 잠재 동역학에서의 모델 불확실성을 포착하기 위해 신경망 앙상블을 사용해 모델 파라미터 θ의 근사 사후 추론을 수행한다.
• 경로 최적화를 사후 추론 문제로 간주함으로써 잠재 공간 계획을 위한 변분 추론 MPC (VI-MPC)를 수립한다.
• 다중 모드 최적 동작 불확실성을 모델링하기 위해 가우시안 혼합 모델(GMMs)을 변분 분포로 사용하는 잠재 공간 버전의 PaETS를 도입한다.
• 경로 샘플링을 위해 잠재 동역학 모델의 앙상블과 최적 동작의 앙상블을 동시에 훈련하여 모델 불확실성과 동작 불확실성을 결합한다.
• 불확실성 인식 경로 샘플링을 사용한 교차 엔트로피 방법(CEM)을 적용하여 계획의 견고성을 향상시킨다.
• 연속 제어 작업에 이 프레임워크를 적용하고, 기준선 PlaNet 및 분석 변형과의 성능를 비교한다.

실험 결과

연구 질문

• RQ1 근사 베이지안 추론를 통해 모델 불확실성을 통합하면 부분 관찰 가능한 환경에서 PlaNet의 점 渐진적 성능 향상이 가능할까?
• RQ2 잠재 공간에서 다중 모드 동작 불확실성을 모델링하면 계획 성능에 어떤 영향을 미칠까?
• RQ3 모델 불확실성과 동작 불확실성을 동시에 통합하면 개별적으로 적용했을 때보다 더 나은 성능을 낼 수 있을까?
• RQ4 VI-MPC 및 PaETS 프레임워크는 부분 관찰 가능한 설정에서 잠재 공간 계획으로 성공적으로 확장될 수 있을까?
• RQ5 제안된 불확실성 인식 방법은 PlaNet의 히우리스틱 CEM 기반 계획 및 고정점 모델 추정보다 더 효과적인가?

주요 결과

• PlaNet-Bayes는 연속 제어 작업 전반에서 기준선 PlaNet에 비해 일관되게 더 높은 점 渐진적 성능을 달성한다.
• 신경망 앙상블을 통한 모델 불확실성 통합은 PlaNet에 비해 측정 가능한 성능 향상을 이끌어낸다.
• 모델 불확실성 없이 동작 불확실성만 모델링하면 다중 모드 표현력이 부족해 성능 향상이 이루어지지 않는다.
• 모델 불확실성과 동작 불확실성을 함께 모델링함으로써 PaETS의 잠재력을 극대화할 수 있었고, 이는 최고의 성능를 이끌어냈다.
• 영상 예측 결과는 PlaNet-Bayes가 다양하고 불확실성 인식 경로 예측을 생성함으로써 과적합을 줄이고 능동적 탐색을 장려함을 보여준다.
• 분석 연구 결과, 최적 성능를 달성하기 위해 두 가지 유형의 불확실성이 모두 필요하며, 가우시안 변분 근사보다 앙상블 기반 접근이 더 뛰어난 성능를 보였다.