[논문 리뷰] Observe and Look Further: Achieving Consistent Performance on Atari

Tobias Pohlen, Bilal Piot외 11명|arXiv (Cornell University)|2018. 05. 29.

Reinforcement Learning in Robotics참고 문헌 18인용 수 85

한 줄 요약

본 논문은 Ape-X DQfD를 소개하는데, 이는 변형 벨만 연산자, 시간 일관성 손실, 시연을 갖춘 분산 DQN 변형으로, 40/42개의 Atari 게임에서 인간 수준의 성능을 달성하고 Montezuma’s Revenge 1단계를 해결한다.

ABSTRACT

Despite significant advances in the field of deep Reinforcement Learning (RL), today's algorithms still fail to learn human-level policies consistently over a set of diverse tasks such as Atari 2600 games. We identify three key challenges that any algorithm needs to master in order to perform well on all games: processing diverse reward distributions, reasoning over long time horizons, and exploring efficiently. In this paper, we propose an algorithm that addresses each of these challenges and is able to learn human-level policies on nearly all Atari games. A new transformed Bellman operator allows our algorithm to process rewards of varying densities and scales; an auxiliary temporal consistency loss allows us to train stably using a discount factor of $γ= 0.999$ (instead of $γ= 0.99$) extending the effective planning horizon by an order of magnitude; and we ease the exploration problem by using human demonstrations that guide the agent towards rewarding states. When tested on a set of 42 Atari games, our algorithm exceeds the performance of an average human on 40 games using a common set of hyper parameters. Furthermore, it is the first deep RL algorithm to solve the first level of Montezuma's Revenge.

연구 동기 및 목표

• 다양한 Atari 게임에서 인간 수준의 성능 달성에 대한 핵심 도전 과제를 식별한다(보상 분포, 장기적 추론, 탐색).
• 최적 정책을 바꾸지 않고 잘려지지 않은 보상과 높은 할인 계수에 견디는 안정적인 학습 알고리즘을 개발한다.
• 분산 RL 프레임워크 내에서 전문가 시연을 활용하여 탐색 및 샘플 효율성을 개선한다.
• 희소 보상 게임을 포함한 대규모 Atari 모음에서 기존 DQN 변형 대비 성능 향상을 입증한다.

제안 방법

• 보상을 클리핑하지 않고 타깃 분산을 줄이기 위해 변형된 벨만 연산자를 도입한다.
• 합성 TC 손실을 보조로 활용하여 gamma=0.999인 높은 할인 계수에서도 안정적인 학습을 가능하게 한다.
• 온라인 에이전트 데이터와 전문가 시연을 융합하기 위해 Ape-X 분산 경험 재생과 Demonstrations로부터의 Deep Q-learning(DQfD)을 결합한다.
• 훈련 중에 고정된 배우–전문가 데이터 혼합을 유지하면서 최상의 전문가 궤적에 대해서만 모방 손실을 적용한다.
• 변형 연산자, TC 손실, 시연의 기여를 정량화하기 위한 제거 연구를 제공한다.

실험 결과

연구 질문

• RQ1 변형된 벨만 연산자가 다양한 보상 척도에서 클리핑 없이 Q-학습을 안정화시킬 수 있는가?
• RQ2 시간적 일관성 손실이 gamma가 1에 가까울 때도 안정적인 학습과 효과적인 계획 구간을 가능하게 하는가?
• RQ3 분산 DQN 프레임워크 내에서 시연을 도입하는 것이 Atari 게임에서 성능과 탐색에 어떤 영향을 미치는가?
• RQ4 제안된 방법이 Montezuma’s Revenge 및 Pitfall!과 같은 희소 보상 게임에서 성능을 얼마나 향상시키는가?

주요 결과

• 다른 하이퍼파라미터를 사용해도 42개 Atari 게임 중 40개에서 평균 인간 성능을 상회한다.
• Montezeuma’s Revenge의 첫 번째 레벨을 완료한 최초의 딥 RL 방법이다.
• TC 손실과 함께 더 높은 할인 인자(gamma=0.999)를 사용하면 확장된 계획 구간과 안정적인 학습을 얻는다.
• 변형 벨만 연산자, TC 손실, 시연의 조합이 기초 비교대비 모든 게임에서 일관성과 성능을 향상시킨다.
• gamma=0.999인 더 깊은 네트워크 아키텍처가 결과를 더욱 향상시켜 40/42개의 게임에서 평균 인간을 상회한다.