[논문 리뷰] Unifying Count-Based Exploration and Intrinsic Motivation

Marc G. Bellemare, Sriram Srinivasan외 4명|arXiv (Cornell University)|2016. 06. 06.

Reinforcement Learning in Robotics참고 문헌 50인용 수 246

한 줄 요약

논문은 밀도 모델에서 파생된 의사-카운트를 도입하여 비-표(tabular) 설정으로 카운트 기반 탐색을 일반화하고 이를 정보 이득과 연결하여 Montezuma’s Revenge를 포함한 Atari 2600 게임에서 탐색이 개선됨을 보여준다.

ABSTRACT

We consider an agent's uncertainty about its environment and the problem of generalizing this uncertainty across observations. Specifically, we focus on the problem of exploration in non-tabular reinforcement learning. Drawing inspiration from the intrinsic motivation literature, we use density models to measure uncertainty, and propose a novel algorithm for deriving a pseudo-count from an arbitrary density model. This technique enables us to generalize count-based exploration algorithms to the non-tabular case. We apply our ideas to Atari 2600 games, providing sensible pseudo-counts from raw pixels. We transform these pseudo-counts into intrinsic rewards and obtain significantly improved exploration in a number of hard games, including the infamously difficult Montezuma's Revenge.

연구 동기 및 목표

• 비-표(tabular) 강화학습에서 탐색 문제의 동기 부여와 전통적인 카운트 기반 방법의 한계.
• 상태 전반에 걸쳐 카운트를 일반화하는 의사-카운트를 도출하기 위한 밀도 모델 기반 메커니즘을 제안합니다.
• 의사-카운트와 예측 이득(prediction gain), 정보 이득(information gain) 사이의 이론적 연결을 확립합니다.
• 몬테주마의 보복(Montezuma’s Revenge)을 포함한 Atari 2600 게임에서 의사-카운트 보너스의 실용적 효과를 actor-critic 및 재생(replay) 설정에서 입증합니다.

제안 방법

• 모델의 현재 확률과 재인코딩된 확률을 rho_n과 rho'_n로 관계지어 밀도 모델에서 의사-카운트를 정의합니다.
• 재인코딩 확률을 사용해 비-표(tabular) 공간에 경험적 카운트 N_n(x)를 일반화하는 N_hat_n(x) 의사-카운트를 도출합니다.
• 의사-카운트를 정보 이득과 예측 이득과 연결하고 IG_n(x) ≤ PG_n(x) ≤ N_hat_n(x)^{-1}, 및 PG_n(x) ≤ N_hat_n(x)^{-1/2} 를 증명합니다.
• MBIE-EB 스타일의 계획 및 DQN/A3C 프레임워크 내에서 의사-카운트 기반 탐색 보너스 R^+_n(x,a) = β (N_hat_n(x) + 0.01)^{-1/2} 를 적용합니다.
• 간단한 Atari 예제(Freeway)에서 의사-카운트의 특성을 검증하고 CTS 밀도 모델을 픽셀에 사용해 Atari 2600 게임으로 실험을 확장합니다.

실험 결과

연구 질문

• RQ1 밀도 모델에서 도출된 의사-카운트가 비-표(tabular) 상태 공간으로의 방문 카운트를 일반화할 수 있는가?
• RQ2 의사-카운트가 정보 이득과 예측 이득과 어떻게 관련되며 탐색에 이론적 보장을 제공할 수 있는가?
• RQ3 의사-카운트 기반 보너스가 Montezuma’s Revenge를 포함한 어려운 Atari 게임에서 가치 기반 및 정책 기반 RL 방법 모두에서 탐색을 개선하는가?

주요 결과

• 의사-카운트는 비-표(tabular) 설정에서 의미 있고 일반화 가능한 상태 참신성의 개념을 제공합니다.
• 예측 이득은 정보 이득에 근사하며 의사-카운트와의 관계를 통해 탐색 보너스를 상한으로 제한합니다.
• 의사-카운트 보너스는 특히 Montezuma’s Revenge를 포함한 어려운 Atari 게임에서 기본선 대비 탐색을 크게 향상시킵니다.
• A3C(A3C+)와 함께 의사-카운트 보너스를 포함시키면 60개의 Atari 게임에서 A3C 단독보다 중앙값 성능이 더 좋습니다.
• CTS 기반 의사-카운트는 주어진 프레임 예산 내에서 Montezuma’s Revenge에서 더 빠른 탐색과 더 높은 점수를 가능하게 합니다.