[논문 리뷰] Mastering Atari with Discrete World Models

Danijar Hafner, Timothy Lillicrap외 2명|arXiv (Cornell University)|2020. 10. 05.

Reinforcement Learning in Robotics참고 문헌 74인용 수 23

한 줄 요약

DreamerV2는 학습된 별도의 월드 모델 내에서 이산 잠재 표현을 사용해 순수하게 행동을 학습하는 모델 기반 강화학습 에이전트로, Atari 55게임 벤치마크에서 인간 수준의 성능을 달성한다. 동일한 계산 자원과 벽시계 시간 동안 단일 GPU 기반 최고 수준의 모델리스 에이전트인 Rainbow와 IQN을 능가하며, 정확한 월드 모델이 픽셀에서 샘플 효율적이고 고성능의 의사결정을 가능하게 한다.

ABSTRACT

Intelligent agents need to generalize from past experience to achieve goals in complex environments. World models facilitate such generalization and allow learning behaviors from imagined outcomes to increase sample-efficiency. While learning world models from image inputs has recently become feasible for some tasks, modeling Atari games accurately enough to derive successful behaviors has remained an open challenge for many years. We introduce DreamerV2, a reinforcement learning agent that learns behaviors purely from predictions in the compact latent space of a powerful world model. The world model uses discrete representations and is trained separately from the policy. DreamerV2 constitutes the first agent that achieves human-level performance on the Atari benchmark of 55 tasks by learning behaviors inside a separately trained world model. With the same computational budget and wall-clock time, Dreamer V2 reaches 200M frames and surpasses the final performance of the top single-GPU agents IQN and Rainbow. DreamerV2 is also applicable to tasks with continuous actions, where it learns an accurate world model of a complex humanoid robot and solves stand-up and walking from only pixel inputs.

연구 동기 및 목표

• 학습된 별도의 월드 모델 내에서 상상된 롤아웃만을 사용해 Atari 벤치마크에서 인간 수준의 성능을 달성하는 모델 기반 강화학습 에이전트를 개발하는 것.
• 정책과 별도로 훈련된 월드 모델이 복잡한 시각 환경에서 고정밀도의 계획 수립과 일반화를 지원할 수 있음을 입증하는 것.
• 단일 GPU와 10일 간의 훈련만을 사용해 Rainbow와 IQN과 같은 최첨단 모델리스 에이전트와 경쟁 가능한 성능을 달성하는 것.
• 이산 잠재 공간 표현이 시각 제어 작업에서 월드 모델 정확도와 샘플 효율성을 향상시키는지 확인하는 것.
• 이산 및 연속 제어 작업에 모두 적용 가능한 재현 가능하고 효율적이며 확장 가능한 모델 기반 강화학습 프레임워크를 구축하는 것.

제안 방법

• 월드 모델은 원시 픽셀 입력에서 압축된 카테고리형 잠재 표현을 학습하기 위해 이산 변동형 오토인코더(dVAE)를 사용한다.
• 에이전트는 현재 상태와 행동을 기반으로 향후 상태를 예측하는 전이 모델을 이산 잠재 공간에서 학습한다.
• 상상된 궤적을 월드 모델이 생성하고, 가치 함수와 정책 네트워크를 KL-균형 손실을 통해 최적화하는 별도의 액터-크리틱 네트워크를 훈련한다.
• 정책은 월드 모델이 계획 환경을 제공하는 내재적 호기심과 외재적 보상 예측의 조합을 사용해 훈련된다.
• 정책 훈련 이전에 월드 모델을 환경 상호작용의 대규모 데이터셋으로 사전 훈련함으로써 샘플 효율적인 정책 학습을 가능하게 한다.
• 학습 안정성과 이산 잠재 공간 내 표현 품질 향상을 위해 새로운 KL 균형 메커니즘을 사용한다.

실험 결과

연구 질문

• RQ1 정책과 별도로 훈련된 월드 모델이 Atari와 같은 복잡한 시각 환경에서 샘플 효율적이고 고성능의 의사결정을 가능하게 할 수 있는가?
• RQ2 연속 잠재 공간에 비해 이산 잠재 표현을 사용할 경우 월드 모델의 정확도와 일반화 능력이 향상되는가?
• RQ3 정책 훈련 중 환경과의 직접 상호작용 없이도 모델 기반 에이전트가 전체 Atari 55게임 벤치마크에서 인간 수준의 성능을 달성할 수 있는가?
• RQ4 동일한 계산 자원 제약 조건 하에서 모델 기반 에이전트의 성능가 최첨단 모델리스 에이전트인 Rainbow와 IQN의 성능를 비교했을 때 어떻게 되는가?
• RQ5 월드 모델의 이미지 및 보상 예측 능력이 정책의 일반화와 샘플 효율성에 얼마나 기여하는가?

주요 결과

• DreamerV2는 상상된 롤아웃만을 사용해 월드 모델 내에서 전체 Atari 55게임 벤치마크에서 인간 수준의 성능를 달성했으며, 이를 통해 첫 번째로 그러한 성능를 이룬 모델 기반 에이전트가 되었다.
• 동일한 계산 자원과 벽시계 시간 동안, DreamerV2는 2억 프레임 평가에서 최고 수준의 단일 GPU 기반 모델리스 에이전트인 Rainbow와 IQN의 최종 성능를 뛰어넘었다.
• 이산 잠재 표현의 사용은 월드 모델 정확도를 크게 향상시키고 잠재 공간 내에서 안정적이고 고품질의 계획 수립을 가능하게 하였다.
• 이미지 재구성과 보상 예측 신호로 훈련된 월드 모델은 다양한 제어 작업에 유용한 일반적인 표현을 학습할 수 있음을 보여주었다.
• 에이전트는 연속 제어 작업으로도 효과적으로 일반화되었으며, 단일 GPU와 픽셀 입력만으로 인간형 로봇의 복잡한 운동 행동(예: 일어나기 및 걷기)을 성공적으로 해결하였다.
• 이산 잠재 표현과 KL 균형화의 성능 향상 효과는 실험적으로 검증되었으며, 아블레이션 연구를 통해 최종 에이전트 성능에 미치는 영향을 확인하였다.