[논문 리뷰] Count-Based Exploration with Neural Density Models

Georg Ostrovski, Marc G. Bellemare외 2명|arXiv (Cornell University)|2017. 03. 03.

Reinforcement Learning in Robotics참고 문헌 22인용 수 220

한 줄 요약

이 논문은 PixelCNN 기반 의사카운트를 사용해 탐험을 주도하고, 이를 혼합 몬테카를로 업데이트와 결합하여 어려운 Atari 게임에서 최첨단 성과를 달성한다; 또한 탐험에서 모델 품질과 MMC의 역할을 분석한다.

ABSTRACT

Bellemare et al. (2016) introduced the notion of a pseudo-count, derived from a density model, to generalize count-based exploration to non-tabular reinforcement learning. This pseudo-count was used to generate an exploration bonus for a DQN agent and combined with a mixed Monte Carlo update was sufficient to achieve state of the art on the Atari 2600 game Montezuma's Revenge. We consider two questions left open by their work: First, how important is the quality of the density model for exploration? Second, what role does the Monte Carlo update play in exploration? We answer the first question by demonstrating the use of PixelCNN, an advanced neural density model for images, to supply a pseudo-count. In particular, we examine the intrinsic difficulties in adapting Bellemare et al.'s approach when assumptions about the model are violated. The result is a more practical and general algorithm requiring no special apparatus. We combine PixelCNN pseudo-counts with different agent architectures to dramatically improve the state of the art on several hard Atari games. One surprising finding is that the mixed Monte Carlo update is a powerful facilitator of exploration in the sparsest of settings, including Montezuma's Revenge.

연구 동기 및 목표

• 밀도 모델 품질이 탐험 성능에 미치는 영향을 평가한다.
• 온라인 의사 카운트를 위한 신경 밀도 모델의 타당성을 평가한다.
• 탐험 효율성에서 혼합 몬테카를로 업데이트의 역할을 조사한다.
• 온라인 RL 훈련에 적합한 실용적인 PixelCNN 기반 탐험 보너스를 개발한다.

제안 방법

• 탐험을 위한 의사 카운트를 도출하기 위해 PixelCNN을 신경 밀도 모델로 채택한다.
• 선형 성장을 근사하기 위해 감소 필터와 감소 일정으로 예측 이득에서 의사 카운트를 계산한다.
• 탐험을 유도하기 위해 의사 카운트 보너스를 환경 보상에 통합한다.
• 경량의 단순화된 PixelCNN 아키텍처를 사용해 온라인으로 밀도 모델을 학습한다.
• Atari 게임 전반에서 PixelCNN 기반 탐험을 CTS 기반 탐험 및 기본 DQN과 비교한다.

실험 결과

연구 질문

• RQ1 더 나은 밀도 모델이 탐험 성능을 어느 정도까지 개선하는가?
• RQ2 원래의 밀도 모델 가정을 탐험에 지장을 주지 않으면서 완화할 수 있는가?
• RQ3 혼합 몬테카를로 업데이트가 탐험 성공에 미치는 영향은 무엇인가?
• RQ4 PixelCNN이 RL에서 의사 카운트를 위한 실용적인 온라인 밀도 모델로서 어떤 성능을 보이는가?

주요 결과

• PixelCNN 기반 의사 카운트는 CTS보다 더 강한 탐험 신호를 제공하여 어려운 탐험 게임에서 성능을 향상시킨다.
• 경량 아키텍처를 갖춘 PixelCNN의 온라인 학습은 RL에 사용하기에 가능하고 안정적이다.
• PixelCNN 탐험 보너스와 MMC의 결합은 Montezuma’s Revenge 및 다른 희박 보상 게임에서 성능을 크게 개선한다.
• PixelCNN은 기본 알고리즘에 비해 Atari 게임 전반에서 더 나은 속도와 안정성을 제공한다.
• 일시적 탐험 보너스와 함께 효과적인 탐험을 가능하게 하는 몬테카를로 리턴이 결정적이다.