[논문 리뷰] Learning Multimodal Transition Dynamics for Model-Based Reinforcement Learning

Thomas M. Moerland, Joost Broekens외 1명|arXiv (Cornell University)|2017. 05. 01.

Reinforcement Learning in Robotics참고 문헌 15인용 수 26

한 줄 요약

이 논문은 모델 기반 강화학습에서 다중모달 전이 동역학을 학습하기 위해 깊이 있는 생성 모델과 조건부 변분 추론(VI)을 사용한다. 이론적 잠재변수—연속적이고 이산적인 변수—를 활용하여 고차원의 확률적 전이를 견고하게 포착하면서도 정확하게 결정론적 성분을 모델링한다. 이는 다중모달 결과 분포를 포착하는 데에 실패하는 분류 기반 방법(예: MSE 손실)보다 우수한 성능을 보인다.

ABSTRACT

In this paper we study how to learn stochastic, multimodal transition dynamics in reinforcement learning (RL) tasks. We focus on evaluating transition function estimation, while we defer planning over this model to future work. Stochasticity is a fundamental property of many task environments. However, discriminative function approximators have difficulty estimating multimodal stochasticity. In contrast, deep generative models do capture complex high-dimensional outcome distributions. First we discuss why, amongst such models, conditional variational inference (VI) is theoretically most appealing for model-based RL. Subsequently, we compare different VI models on their ability to learn complex stochasticity on simulated functions, as well as on a typical RL gridworld with multimodal dynamics. Results show VI successfully predicts multimodal outcomes, but also robustly ignores these for deterministic parts of the transition dynamics. In summary, we show a robust method to learn multimodal transitions using function approximation, which is a key preliminary for model-based RL in stochastic domains.

연구 동기 및 목표

• 강화학습 환경에서 확률적이고 다중모달 전이 동역학을 학습하는 데 도전하는 것.
• 다중모달 결과 분포를 포착하지 못하는 분류 기반 모델(예: MSE 손실)의 한계를 극복하는 것.
• 특히 조건부 변분 추론을 포함한 깊이 있는 생성 모델이 복잡한 전이 동역학을 모델링하는 데 효과적인지 평가하는 것.
• VI 기반 모델이 전이 함수의 결정론적 및 확률적 성분을 어떻게 구분하는지 보여주는 것.
• 실제 강화학습 작업의 고차원 상태-행동 공간에 적합한 확장 가능한 기능 근사 솔루션을 제공하는 것.

제안 방법

• 현재 상태-행동 쌍 $ x $ 에 대해 다음 상태의 분포 $ p(y|x) $ 를 모델링하기 위해 조건부 변분 추론(VI)을 사용한다.
• 심층 신경망을 사용하여 잠재변수—특히 연속적인 구형 정규분포, 이산형, 정규화 흐름 기반의 잠재공간—을 활용해 복잡하고 다중모달 결과 분포를 모델링한다.
• 재구성 정확도와 잠재공간 정규화 사이의 균형을 맞추기 위해 변분 하한(ELBO)을 사용해 모델을 훈련한다.
• 진짜 사후분포 $ q(z|x,y) $ 를 근사하기 위해 추론 네트워크를 통합하여 엔드 투 엔드로 미분 가능한 훈련을 가능하게 한다.
• 합성 함수와 다중모달 동역학이 존재하는 격자환경에서 다양한 VI 아키텍처(예: VAE, LVAE, 정규화 흐름)를 비교한다.
• 다중모달 확률성을 포착하는 데서 생성 모델의 우수성을 평가하기 위해 MSE 기반 기준선을 사용한다.

실험 결과

연구 질문

• RQ1 조건부 변분 추론은 고차원 상태공간에서 다중모달 전이 동역학을 효과적으로 모델링할 수 있는가?
• RQ2 VI 기반 모델링은 다중모달 결과 분포를 포착하는 데 있어 분류 기반 함수 근사기(예: MSE로 훈련된 네트워크)보다 어떻게 비교되는가?
• RQ3 모델은 전이 함수의 결정론적 및 확률적 성분을 견고하게 구분하는가?
• RQ4 연속형, 이산형, 정규화 흐름 기반의 잠재변수 유형이 다중모달 동역학 학습 성능에 어떤 영향을 미치는가?
• RQ5 표본 수가 제한된 표본 기반 방법이 불가능한 실세계 강화학습 환경으로 일반화 가능한가?

주요 결과

• 조건부 변분 추론은 다중모달 결과 분포를 성공적으로 포착하며, 단일 모드로 붕괴하는 MSE 기반 분류 모델보다 뛰어난 성능을 보인다.
• VI 기반 모델은 전이 함수의 결정론적 부분에서의 다중모달 구조를 견고하게 무시하면서도 적절한 경우 정확한 점 예측을 유지한다.
• 다양한 잠재변수 유형(Gaussian, 이산형, 정규화 흐름) 간에 유의미한 성능 차이가 관찰되지 않아, 연구된 도메인 크기에서는 표준 구형 정규분포 VAE가 충분함을 시사한다.
• 모델은 다중모달 동역학을 가진 격자환경에서 온라인으로 정확한 전이 동역학을 학습하며, 일반적인 강화학습 환경에서의 실현 가능성을 입증한다.
• 이 방법은 고차원 상태공간으로 확장 가능하며, 표본 기반 학습이 불가능한 상황에서도 기능 근사를 가능하게 한다.
• 결과는 VI가 이론적으로나 경험적으로 모델 기반 강화학습에서 복잡한 확률성을 모델링하는 데 매우 적합하며, 향후 계획 수단의 강력한 기초를 마련함을 확인한다.