[논문 리뷰] Learning and Querying Fast Generative Models for Reinforcement Learning

Lars Buesing, Théophane Weber외 9명|arXiv (Cornell University)|2018. 02. 08.

Reinforcement Learning in Robotics참고 문헌 32인용 수 70

한 줄 요약

본 논문은 픽셀에서 학습된 빠른 상태-공간 환경 모델(결정적 및 확률적)을 제안하여 효율적인 모델 기반 RL을 가능하게 하며, 이 모델을 활용한 상상 보강 에이전트가 MS_PACMAN에서 강력한 모델 프리 기준선을 능가하고, 모델을 질의하도록 학습할 때 추가 이득이 있음을 보여준다.

ABSTRACT

A key challenge in model-based reinforcement learning (RL) is to synthesize computationally efficient and accurate environment models. We show that carefully designed generative models that learn and operate on compact state representations, so-called state-space models, substantially reduce the computational costs for predicting outcomes of sequences of actions. Extensive experiments establish that state-space models accurately capture the dynamics of Atari games from the Arcade Learning Environment from raw pixels. The computational speed-up of state-space models while maintaining high accuracy makes their application in RL feasible: We demonstrate that agents which query these models for decision making outperform strong model-free baselines on the game MSPACMAN, demonstrating the potential of using learned environment models for planning.

연구 동기 및 목표

• 연결된 상태 표현(상태-공간 모델)을 학습하여 계산적으로 효율적인 환경 모델을 촉진한다.
• 결정적 및 확률적 상태-공간 모델과 픽셀 기반 학습 능력을 조사한다.
• 강화학습 에이전트에서 상태-공간 모델을 질의하여 계획 및 의사결정 이점을 입증한다.
• 불확실성 모델링과 시간적 추상화(점프식 모델)가 ALE 태스크에서 속도와 정확도에 미치는 영향을 보여준다.

제안 방법

• 환경 모델링을 위해 자동회귀(autoregressive), 순환 자동회귀, 그리고 상태-공간 모델(결정적 및 확률적)을 정의하고 비교한다.
• 픽셀 기반 인코더와 풀-앤-인젝트(pool-and-inject) 계층을 가진 컨볼루션 전이/디코드 모듈로 장거리 의존성을 포착한다.
• 최대가능도 또는 ELBO 목적함수로 모델을 학습하고, 확률적 모델(sSSM)의 경우 변분추론을 사용한다.
• 시간 축적에 따른 더 긴 수평을 모사하기 위해 점프형 학습(jumpy training)을 적용하여 계산을 줄인다.
• Imagination-Augmented Agents(I2A)에 상태-공간 모델을 통합하여 몬테카를로 롤아웃을 수행하고 정책/가치 함수에 정보를 제공한다.
• 롤아웃 정책을 모델을 통해 증류 혹은 역전파로 학습하는 학습-쿼리 학습(learning-to-query) 접근법을 탐색한다.

실험 결과

연구 질문

• RQ1 픽셀 관찰로 학습된 상태-공간 모델(결정적 및 확률적)이 정확하고 계산적으로 효율적인 환경 예측을 제공할 수 있는가?
• RQ2 ,
• RQ3 ,
• RQ4 ,
• RQ5 ],
• RQ6 key_findings [
• RQ7 State-space 모델(dSSM 및 sSSM)은 픽셀-공간 자동회귀 모델에 비해 상당한 속도 향상을 제공하면서도 정확도도 경쟁력을 유지한다.
• RQ8 확률적 상태-공간 모델(sSSM)은 불확실성을 포함할 때 결정적 상대보다 여러 ALE 게임에서 더 높은 로그가능도(log-likelihood)를 달성한다.
• RQ9 점프형(SM) 모듈은 비-점프형에 비해 큰 속도 향상을 제공하면서도 정확도는 유사하게 유지한다.
• RQ10 MS_PACMAN에서 점프형 SSM을 사용하는 상상 보강 에이전트(I2A)가 모델 프리 기반 기준선 대비 우수한 성능을 보이고, 모델을 질의하는 학습(증류 또는 역전파)을 포함하면 I2A 변형 중 최상의 성능을 얻는다.
• RQ11 롤아웃이 적은(I2A 설정에서 예: K=5) 경우 결정적 SSM이 확률적 SSM보다 일반적으로 더 안정적인 신호를 제공하여 더 우수하게 작동한다는 경향이 있다.

주요 결과

• State-space models (both dSSM and sSSM) deliver substantial speed-ups over pixel-space autoregressive models while maintaining competitive accuracy.
• Stochastic state-space models with uncertainty (sSSM) achieve higher log-likelihoods than deterministic counterparts across several ALE games.
• Jumpy (temporally abstracted) SSMs provide large speed-ups (up to >10x) with comparable accuracy to non-jumpy variants.
• Imagination-Augmented Agents (I2A) using jumpy SSMs outperform model-free baselines on MS_PACMAN, and learning to query the model (distillation or backprop) yields best performance among I2A variants.
• Deterministic SSMs generally outperform stochastic SSMs in the I2A setting when rollouts are few (e.g., K=5) due to more stable signals, while sSSMs better capture environment uncertainty in isolation.