[논문 리뷰] Contingency-Aware Exploration in Reinforcement Learning

Jongwook Choi, Yijie Guo외 5명|arXiv (Cornell University)|2018. 11. 05.

Reinforcement Learning in Robotics참고 문헌 42인용 수 28

한 줄 요약

이 논문은 Atari 게임에서 제어 가능한 요소를 학습하기 위해 주의 메커니즘을 활용한 역동성 모델(ADM)을 사용하는 자기지도 학습 방법인 Contingency-Aware Exploration (CoEX)를 제안한다. 이는 보상이 희박한 환경에서 탐색 성능을 향상시킨다. 행동 예측을 통해 에이전트의 위치를 추론하고 이를 카운트 기반 탐색과 통합함으로써, 전문가 데이터나 감독 없이 Montezuma’s Revenge에서 11,618점의 새로운 최고 성능을 달성한다.

ABSTRACT

This paper investigates whether learning contingency-awareness and controllable aspects of an environment can lead to better exploration in reinforcement learning. To investigate this question, we consider an instantiation of this hypothesis evaluated on the Arcade Learning Element (ALE). In this study, we develop an attentive dynamics model (ADM) that discovers controllable elements of the observations, which are often associated with the location of the character in Atari games. The ADM is trained in a self-supervised fashion to predict the actions taken by the agent. The learned contingency information is used as a part of the state representation for exploration purposes. We demonstrate that combining actor-critic algorithm with count-based exploration using our representation achieves impressive results on a set of notoriously challenging Atari games due to sparse rewards. For example, we report a state-of-the-art score of >11,000 points on Montezuma's Revenge without using expert demonstrations, explicit high-level information (e.g., RAM states), or supervisory data. Our experiments confirm that contingency-awareness is indeed an extremely powerful concept for tackling exploration problems in reinforcement learning and opens up interesting research questions for further investigations.

연구 동기 및 목표

• 강화학습에서 제어 가능한 환경 역동성에 대한 이해, 즉 컨티전시 인식을 학습하는 것이 탐색 성능 향상에 기여하는지 조사하는 것.
• 감독이나 수동으로 설계된 특징 없이도 제어 가능한 요소(예: 에이전트 위치)를 탐지할 수 있는 자기지도 학습 방법을 개발하는 것.
• 학습된 컨티전시 인식 표현을 상태 표현의 일부로 활용하여 보상이 희박한 환경에서의 탐색 성능을 향상시키는 것.
• 전문가 지시나 RAM 상태, 외부 감독 없이도 Montezuma’s Revenge와 같은 도전적인 Atari 게임에서 뛰어난 성능을 내는 것.
• 컨티전시 인식이 강화학습에서 탐색을 위한 일반적이고 해석 가능하며 효과적인 추상화로 기능할 수 있는지 탐색하는 것.

제안 방법

• 에이전트의 행동을 연속적인 관찰에서 예측하기 위해 자기지도 방식으로 주의 메커니즘 기반 역동성 모델(ADM)을 훈련한다.
• ADM은 공간적 주의 메커니즘을 사용하여 에이전트 행동에 영향을 미치는 관찰 영역을 식별함으로써, 제어 가능한 요소의 세그멘테이션을 효과적으로 학습한다.
• 환경 시뮬레이터나 레이블 없이도 원시 관찰과 에이전트의 정책 행동만을 사용하여 온라인으로 훈련한다.
• 학습된 컨티전시 인식 표현을 상태 추상화로 사용하여 카운트 기반 탐색을 위한 가짜 카운트를 계산한다.
• 특히 PPO와 같은 액터-크리틱 알고리즘과 통합하여, ADM의 출력을 상태 표현에 추가함으로써 탐색을 유도한다.
• ADM은 효율적이고 해석 가능한 상태 추상화를 가능하게 하는 제어 가능한 역동성의 압축되고 분리된 표현을 학습한다.

실험 결과

연구 질문

• RQ1 제어 가능한 역동성에 대한 자기지도 학습이 강화학습에서 탐색 성능 향상에 기여하는가?
• RQ2 환경의 어느 부분이 에이전트의 제어를 받는지 이해하는 컨티전시 인식이 보상이 희박한 Atari 게임 해결에 유익한가?
• RQ3 주의 기반 역동성 모델이 감독이나 사전 지식 없이도 의미 있는 제어 가능한 영역을 학습할 수 있는가?
• RQ4 학습된 컨티전시 정보를 카운트 기반 탐색에 통합하면 더 나은 샘플 효율성과 성능이 달성되는가?
• RQ5 이 방법은 전문가 지시나 고수준 상태 정보 없이도 Montezuma’s Revenge에서 최고 성능을 달성할 수 있는가?

주요 결과

• 제안된 CoEX 방법은 5억 번의 환경 단계에서 Montezuma’s Revenge에서 11,618점의 새로운 최고 성능을 기록했으며, 기존의 순수 PPO나 이전 방법들보다 뚜렷이 뛰어난 성능을 보였다.
• Montezuma’s Revenge에서 CoEX는 전문가 지시, RAM 상태, 감독 데이터 없이도 11,000점 이상의 점수를 기록했다.
• 이 방법은 PrivateEye에서 11,000점, Seaquest에서 11,794점의 뛰어난 성능을 기록하여 다양한 Atari 게임에 대해 넓은 적용 가능성을 보였다.
• 학습 곡선은 안정적이고 빠른 학습을 보였으며, PPO+CoEX는 5억 단계 내에 높은 성능에 도달했고, 반면 순수 PPO는 0 또는 1,797점 근처에서 정체되었다.
• ADM 기반 표현은 에이전트 위치와 제어 가능한 요소를 성공적으로 포착하여 매우 보상이 희박한 환경에서도 효과적인 탐색을 가능하게 했다.
• 역동성 모델의 정확도가 완벽하지 않더라도 이 방법은 컨티전시 추정의 작은 오차에 대해 유로보스트하며, 강건성을 보였다.