[논문 리뷰] Action-Conditional Video Prediction using Deep Networks in Atari Games

Junhyuk Oh, Xiaoxiao Guo외 3명|arXiv (Cornell University)|2015. 07. 31.

Reinforcement Learning in Robotics참고 문헌 31인용 수 446

한 줄 요약

이 논문은 아케이드 게임인 아케이드 게임에서 에이전트의 행동 조건 하에 향후 영상을 예측하는 두 가지 딥 네ural 네트워크 아키텍처—컨볼루션 및 순환 네트워크 기반—을 제안한다. 행동 조건부 변환과 시공간 모델링을 통합함으로써, 모델들은 100단계 예측까지 시각적으로 현실적인, 제어에 유용한 예측을 생성하며, 고차원 시각 환경에서의 첫 번째 성공적인 장기적 행동 조건부 영상 예측을 보여준다.

ABSTRACT

Motivated by vision-based reinforcement learning (RL) problems, in particular Atari games from the recent benchmark Aracade Learning Environment (ALE), we consider spatio-temporal prediction problems where future (image-)frames are dependent on control variables or actions as well as previous frames. While not composed of natural scenes, frames in Atari games are high-dimensional in size, can involve tens of objects with one or more objects being controlled by the actions directly and many other objects being influenced indirectly, can involve entry and departure of objects, and can involve deep partial observability. We propose and evaluate two deep neural network architectures that consist of encoding, action-conditional transformation, and decoding layers based on convolutional neural networks and recurrent neural networks. Experimental results show that the proposed architectures are able to generate visually-realistic frames that are also useful for control over approximately 100-step action-conditional futures in some games. To the best of our knowledge, this paper is the first to make and evaluate long-term predictions on high-dimensional video conditioned by control inputs.

연구 동기 및 목표

• 시각 기반 강화학습에서 제어 행동 조건 하에 장기적이고 고차원적인 영상 예측 문제를 해결한다.
• 아케이드 게임에서 행동이 직접 제어하는 객체와 간접적으로 영향을 받는 객체 모두에 영향을 주는 복잡한 시공간 동역학을 모델링할 수 있는 딥 러닝 아키텍처를 개발한다.
• 행동 조건부 영상 예측이 모델-프리 강화학습을 향상시키는 데 기여하는지 평가한다. 특히, 정보 기반 탐색이나 환경 동역학의 대체 가능성 여부를 검토한다.
• 학습된 표현이 제어되는 객체와 제어되지 않는 객체를 암묵적으로 분리하고 의미 있는 행동 유사성을 포착하는지 조사한다.

제안 방법

• 행동 입력을 학습된 변환을 통해 통합하는 두 가지 딥 아키텍처를 제안한다: 하나는 인자 곱셈 상호작용 모듈을 사용하고, 다른 하나는 게이팅된 순환 단위(GRU)를 사용한 잔차 연결을 사용한다.
• 이중 스트림 인코더-디코더 프레임워크를 사용한다: 한 스트림은 CNN를 통해 과거 프레임을 처리하고, 다른 스트림은 완전히 연결된 레이어를 통해 행동을 처리하며, 두 출력은 곱셈 상호작용을 통해 융합된다.
• 행동 임bedded 요소를 사용해 특징 맵을 조절하는 학습된 행동 조건부 변환 레이어를 적용하여, 행동에 따라 동적으로 이미지를 생성할 수 있도록 한다.
• 픽셀 단위 재구성 손실(L2)과 장기 예측을 안정화하기 위한 경로 메모리 메커니즘을 사용해 모델을 엔드 투 엔드로 훈련한다.
• 84×84 회색조 프레임에 피드포워드 인코딩 네트워크를 적용하여 특징을 추출하며, 아키텍처 세부 사항은 보조 자료에 기재되어 있다.
• 예측 모델의 유용성을 평가하기 위해, 사전 훈련된 DQN 에이전트의 에뮬레이터 프레임을 대체하거나, 예측을 기반으로 정보 기반 탐색 전략을 유도하는 방식을 사용한다.

실험 결과

연구 질문

• RQ1 딥 네트워크는 고차원 아케이드 게임 환경에서 에이전트 행동 조건 하에 100단계 예측까지 시각적으로 현실적인 영상 예측을 성공적으로 생성할 수 있는가?
• RQ2 예측 모델의 학습된 표현이 유사한 이동 방향(예: '위'와 '위+화약 발사')을 가진 행동들 간의 의미 있는 유사성을 포착하는가?
• RQ3 예측 모델은 이미지 영역 중에서 어떤 부분이 에이전트 행동에 의해 제어되는지, 어떤 부분이 간접적으로 영향을 받는지 암묵적으로 식별할 수 있는가?
• RQ4 예측된 프레임을 사용하면 DQN과 같은 모델-프리 강화학습 에이전트의 성능을 향상시킬 수 있는가?
• RQ5 행동 조건부 영상 예측은 정보가 많은 상태로의 탐색을 유도함으로써 강화학습의 탐색 전략을 향상시킬 수 있는가?

주요 결과

• 제안된 아키텍처는 여러 아케이드 게임에서 발산 없이 100단계 미래 프레임을 시각적으로 현실적으로 생성하여, 고차원 아케이드 게임 환경에서의 장기적 행동 조건부 영상 예측 가능성을 입증한다.
• 학습된 행동 인자 간 코사인 유사도 분석 결과, 유사한 이동 방향(예: '위'와 '위+화약 발사')을 가진 행동들은 양의 상관관계를 보였고, 반대 방향은 음의 상관관계를 보여, 학습된 의미론적 구조가 존재함을 시사한다.
• 모델 표현에서 고분산 행동 인자는 제어되는 객체의 움직임을 제어하는 반면, 저분산 인자는 배경 및 간접적으로 영향을 받는 객체를 예측함으로써 제어되는 요소와 제어되지 않는 요소 간 암묵적인 분리가 이루어졌음을 보여준다.
• 예측된 프레임을 기반으로 한 정보 기반 탐색 전략은 테스트한 다섯 개 게임 중 세 과에서 DQN 성능 향상을 이끌어내었으며, 특히 QBert에서 가장 뚜렷한 향상이 있었고, 이는 RL에 실용적 유용성을 보여준다.
• 사전 훈련된 DQN에 에뮬레이터 프레임을 예측된 프레임으로 대체한 결과, 일부 게임에서는 원래 DQN과 유사한 성능을 기록하여 예측 모델의 정밀도를 검증한다.
• 예측된 프레임을 통한 예측 능력 덕분에 에이전트는 더 효율적으로 탐색할 수 있었으며, 무작위 탐색 대비 더 효과적인 상태 커버리지가 이루어진 것으로 트레이젝터리 히트맵을 통해 확인되었다.