[논문 리뷰] Model-Based Reinforcement Learning for Atari

Łukasz Kaiser, Mohammad Babaeizadeh외 12명|arXiv (Cornell University)|2019. 03. 01.

Reinforcement Learning in Robotics참고 문헌 47인용 수 420

한 줄 요약

SimPLe은 학습된 확률적 비디오 예측 세계 모델을 사용하여 시뮬레이션된 Atari 환경에서 정책을 학습하고, 100K 상호작용에서 강한 샘플 효율을 달성하며 Rainbow, PPO 같은 모델 프리 베이스라인을 종종 능가합니다.

ABSTRACT

Model-free reinforcement learning (RL) can be used to learn effective policies for complex tasks, such as Atari games, even from image observations. However, this typically requires very large amounts of interaction -- substantially more, in fact, than a human would need to learn the same games. How can people learn so quickly? Part of the answer may be that people can learn how the game works and predict which actions will lead to desirable outcomes. In this paper, we explore how video prediction models can similarly enable agents to solve Atari games with fewer interactions than model-free methods. We describe Simulated Policy Learning (SimPLe), a complete model-based deep RL algorithm based on video prediction models and present a comparison of several model architectures, including a novel architecture that yields the best results in our setting. Our experiments evaluate SimPLe on a range of Atari games in low data regime of 100k interactions between the agent and the environment, which corresponds to two hours of real-time play. In most games SimPLe outperforms state-of-the-art model-free algorithms, in some games by over an order of magnitude.

연구 동기 및 목표

• 픽셀 관찰로부터의 Atari 플레이에 대한 샘플 복잡도 감소.
• 월드 모델 학습, 모델 내 정책 학습, 실제 데이터로 반복하는 완전한 모델 기반 RL 루프를 시연합니다.
• 고정된 100K 상호작용 예산에서 최첨단 모델프리 베이스라인과 비교합니다.

제안 방법

• 실제 데이터를 수집하고, 월드 모델을 학습하고, PPO를 통해 월드 모델에서 정책을 학습하는 것을 번갈아 수행하는 Simulated Policy Learning (SimPLe)을 도입합니다.
• 행동에 조건화된 다음 프레임과 보상을 예측하기 위해 이산 잠재 변수를 갖는 확률적 비디오 예측 월드 모델을 사용합니다.
• 학습된 모델에서의 계획 시 누적 오류를 완화하기 위해 스케줄링된 샘플링을 사용하고, 오류 누적을 제한하기 위해 짧은 롤아웃을 사용합니다.
• 실제 데이터로부터의 지도 학습과 예측 모델링의 혼합으로 월드 모델을 학습하고 안정성을 위해 클리핑 손실을 사용합니다.
• 반복 간 데이터 집계(dataset aggregation)로 월드 모델의 환경 역학 범위를 확장합니다.
• 26개 Atari 게임에서 100K 실제 환경 상호작용으로 성능을 평가하고 Rainbow 및 PPO와 비교합니다.

실험 결과

연구 질문

• RQ1 고정된 낮은 상호작용 예산(100K)으로 학습된 비디오 예측 모델이 Atari에서 효과적인 정책 학습을 가능하게 할 수 있을까요?
• RQ2 확률적 이산 잠재 다이나믹스를 갖는 모델 기반 학습이 샘플 효율성 측면에서 고급 모델 프리 베이스라인(Rainbow, PPO)과 어떻게 비교되나요?
• RQ3 학습된 월드 모델에서 스토캐스틱성, 롤아웃 길이, 반복적인 데이터 수집이 정책 성능에 미치는 영향은 무엇인가요?
• RQ4 SimPLe 데이터로의 사전 학습 또는 초기화가 이후의 모델 프리 파인 튜닝에 이점을 제공합니까?

주요 결과

• SimPLe은 100K 상호작용에서 거의 모든 테스트 게임에서 매우 다듬은 Rainbow 베이스라인보다 샘플 효율이 높습니다.
• 최적의 경우(Freeway)에서 SimPLe은 Rainbow보다 10배 이상 샘플 효율이 높습니다.
• 26개 게임 전체에서 SimPLe은 모델 프리 방법보다 절반 이상에서 더 잘 수행하며, 일부 결과는 인간 점수를 초과합니다.
• 여러 게임에서 Rainbow/PM PPO는 100K에서 SimPLe와 같은 점수에 도달하기 위해 두 배 이상 많은 샘플이 필요합니다.
• 이 방법은 많은 설정에서 모델 프리 접근법과 경쟁력 있는 성능을 달성하며, 샘플 효율성 측면에서 PPO에 근접하거나 이를 능가할 수 있습니다.
• 결과는 게임당 5번 실행의 평균으로 보고되며, 실행 간 변동성이 큰 편입니다.