[논문 리뷰] A Deep Learning Approach for Joint Video Frame and Reward Prediction in Atari Games

Felix Leibfried, Nate Kushman외 1명|arXiv (Cornell University)|2016. 11. 21.

Reinforcement Learning in Robotics참고 문헌 35인용 수 23

한 줄 요약

이 논문은 하나의 컨volution 신경망을 사용하여 아케이드 게임에서 미래의 영상 프레임과 누적 보상을 동시에 예측하는 딥러닝 모델을 제안한다. 프레임 재구성과 보상 예측을 동시에 최적화함으로써, 모델은 최대 200 프레임까지 정확한 누적 보상 예측을 달성하며, 동역학과 보상 함수가 알려지지 않은 고차원적이고 시각적으로 복잡한 환경에서 모델 기반 강화학습의 핵심 기반을 마련한다.

ABSTRACT

Reinforcement learning is concerned with identifying reward-maximizing behaviour policies in environments that are initially unknown. State-of-the-art reinforcement learning approaches, such as deep Q-networks, are model-free and learn to act effectively across a wide range of environments such as Atari games, but require huge amounts of data. Model-based techniques are more data-efficient, but need to acquire explicit knowledge about the environment. In this paper, we take a step towards using model-based techniques in environments with a high-dimensional visual state space by demonstrating that it is possible to learn system dynamics and the reward structure jointly. Our contribution is to extend a recently developed deep neural network for video frame prediction in Atari games to enable reward prediction as well. To this end, we phrase a joint optimization problem for minimizing both video frame and reward reconstruction loss, and adapt network parameters accordingly. Empirical evaluations on five Atari games demonstrate accurate cumulative reward prediction of up to 200 frames. We consider these results as opening up important directions for model-based reinforcement learning in complex, initially unknown environments.

연구 동기 및 목표

• 동역학과 보상 함수가 초기에는 알려지지 않은 고차원 시각적 환경에서 모델 기반 강화학습을 가능하게 하기 위해.
• 원시 시각 입력에서 미래 상태와 보상을 동시에 예측하는 통합된 딥러닝 프레임워크를 개발하기 위해.
• 환경의 동역학과 보상 구조를 명시적으로 학습함으로써, 환경 상호작용 데이터의 대량 소비에 의존도를 줄이기 위해.
• 몬테카를로 트리 탐색이나 다이나 스타일 학습과 같은 향후 계획 알고리즘을 지원하기 위해 정확한 예측 모델을 제공하기 위해.
• 장기적이고 다중 작업 강화학습을 위한 전제 조건으로서 동시 예측의 가능성을 탐색하기 위해.

제안 방법

• 딥 컨volution 신경망이 영상 프레임 재구성 손실과 누적 보상 예측 손실을 동시에 최소화하는 공동 최적화 목표로 훈련된다.
• 네트워크는 시각적 상태 전이를 인코딩하고 동시에 미래 프레임과 보상을 예측하기 위해 공유된 잠재 표현을 사용한다.
• 훈련은 아케이드 학습 환경(Arcade Learning Environment, ALE)에서 수집한 트레이젝터리 데이터셋을 사용하여 백프로파게이션을 통해 엔드 투 엔드로 수행된다.
• 이전의 영상 예측 연구(Oh et al., 2015)를 확장하여, 일련의 프레임에 걸쳐 미래 누적 보상을 예측하는 보상 헤드를 도입한다.
• 장기 예측 안정성을 향상시키기 위해 시간적 컨볼루션과 잔여 연결을 활용한다.
• 다양한 시각적 및 보상 구조를 가진 다섯 종류의 아케이드 게임에서 평가하여 동시 예측 정확도와 일반화 능력을 분석한다.

실험 결과

연구 질문

• RQ1 단일 딥 네트워크가 고차원 시각적 환경에서 미래 영상 프레임과 누적 보상을 정확히 예측할 수 있는가?
• RQ2 프레임과 보상 예측을 동시에 최적화하는 것이 별도의 모델을 사용하는 것보다 장기 예측 보상 추정 성능을 향상시키는가?
• RQ3 이러한 동시 예측 모델이 동역학과 보상 함수가 알려지지 않은 환경에서 모델 기반 강화학습의 기초로 얼마나 잘 기능하는가?
• RQ4 아케이드 게임에서 흔한 희박하거나 지연된 보상 구조에서 모델의 성능은 어떠한가?
• RQ5 장기 예측에서 복합 오차를 줄일 수 있는가? 이는 신뢰할 수 있는 계획 수립을 가능하게 하는가?

주요 결과

• 모델은 다섯 종류의 아케이드 게임에서 최대 200 프레임까지 정확한 누적 보상 예측을 달성하며, 장기 예측 일반화 능력을 입증한다.
• 공동 훈련은 별도로 프레임과 보상 헤드를 훈련하는 것보다 보상 예측 성능을 크게 향상시킨다.
• 모델은 명시적인 환경 모델링 없이도 복잡한 동역학과 보상 구조를 효과적으로 포착한다.
• 정성적 분석 결과, 모델은 알려지지 않은 게임 상태로 일반화가 잘 되어 있으며, 타당한 미래 프레임과 보상 궤적을 예측한다.
• 기존 연구와 달리 예측의 복합 오차를 완화하여 안정적인 장기 예측이 가능하다.
• 결과적으로, 학습된 동시 동역학 및 보상 모델이 복잡한 시각 영역에서 계획 기반 강화학습의 기초로 사용될 수 있음을 검증한다.