[논문 리뷰] A Review for Deep Reinforcement Learning in Atari:Benchmarks, Challenges, and Solutions

Jiajun Fan|arXiv (Cornell University)|2021. 12. 08.

Reinforcement Learning in Robotics인용 수 4

한 줄 요약

이 논문은 아타리 강화학습 벤치마크에서 현재 평가 지표를 비판하며, 인간 기준 점수가 정점 수준의 인간 성능을 과소평가하고 있음을 주장한다. 인간 월드레코드(HWR)를 사용하는 새로운 벤치마크를 제안하여 최종 성능 및 학습 효율성 모두를 평가하며, 57개 게임에서 심지어 최첨단 에이전트로도 초인 수준에 도달하지 못하는 것으로 드러났다.

ABSTRACT

The Arcade Learning Environment (ALE) is proposed as an evaluation platform for empirically assessing the generality of agents across dozens of Atari 2600 games. ALE offers various challenging problems and has drawn significant attention from the deep reinforcement learning (RL) community. From Deep Q-Networks (DQN) to Agent57, RL agents seem to achieve superhuman performance in ALE. However, is this the case? In this paper, to explore this problem, we first review the current evaluation metrics in the Atari benchmarks and then reveal that the current evaluation criteria of achieving superhuman performance are inappropriate, which underestimated the human performance relative to what is possible. To handle those problems and promote the development of RL research, we propose a novel Atari benchmark based on human world records (HWR), which puts forward higher requirements for RL agents on both final performance and learning efficiency. Furthermore, we summarize the state-of-the-art (SOTA) methods in Atari benchmarks and provide benchmark results over new evaluation metrics based on human world records. We concluded that at least four open challenges hinder RL agents from achieving superhuman performance from those new benchmark results. Finally, we also discuss some promising ways to handle those problems.

연구 동기 및 목표

• 아타리 RL 벤치마크에서 인간 기준 점수를 인간 성능의 대리 지표로 사용하는 것에 대한 비판.
• 현재 평가 지표가 인간 월드레코드를 과소평가함으로써 초인 성능를 잘못 표현하고 있음을 주장.
• 최종 성능 및 학습 효율성에 대해 더 높은 기준을 요구하는 인간 월드레코드(HWR) 기반의 새로운 벤치마크를 제안.
• 새로운 HWR 기반 벤치마크에서 최첨단 강화학습 알고리즘을 평가하고 지속적인 과제를 규명.
• 아타리 환경에서 초인 능력을 평가하기 위한 종합적 프레임워크 제공.

제안 방법

• 논문은 아타리 벤치마크에서 기존 평가 지표를 검토하며, 특히 인간 정규화 점수(HNS)와 그 한계에 초점을 맞춘다.
• 더 적절한 인간 기준을 대체하기 위해 인간 월드레코드(HWR)를 성능 기준으로 사용하는 새로운 벤치마크를 도입한다.
• 저자들은 SABER 평가 시스템을 확장하여 HWR 기반 신규 지표를 포함시키며, HWRB(HWR 벤치마크) 및 학습 효율 점수를 포함한다.
• 학습 효율성은 역 샘플 복잡도로 측정되며, HWR에 비해 빠르게 높은 성능에 도달하는 데 소요되는 샘플 수를 측정한다.
• 이 방법은 57개 아타리 게임에서 모델-프리, 모델-기반 등 다양한 SOTA 알고리즘을 새로운 HWR 기반 지표로 평가한다.
• 최종 성능(HWRB), 중앙값 성능(MED SABER), 학습 효율(샘플 효율성)을 통합하는 다차원 평가 프레임워크를 도입하여 에이전트 능력을 평가한다.

실험 결과

연구 질문

• RQ1 인간 기준 점수를 사용할 경우 아타리 RL에서 초인 성능 평가가 정확한가?
• RQ2 최첨단 RL 에이전트는 최종 성능 및 학습 효율성 측면에서 인간 월드레코드를 어느 정도 초월하는가?
• RQ3 인간 기준 점수를 초월함에도 불구하고 현재 SOTA 에이전트가 초인 성능을 달성하지 못하는 이유는 무엇인가?
• RQ4 학습 효율성은 어떻게 의미 있게 측정하고 RL 벤치마크에 통합할 수 있는가?
• RQ5 아타리 환경에서 진정으로 초인 성능을 달성하는 데 방해가 되는 주요 과제는 무엇인가?

주요 결과

• 기존 다수의 벤치마크에서 사용된 인간 기준 점수가 정점 수준의 인간 성능를 크게 과소평가하여 초인 성능에 대한 잘못된 주장이 제기된다.
• 심지어 Agent57 및 DQN 기반 모델과 같은 최첨단 에이전트도 아타리 57개 게임의 대부분에서 인간 월드레코드를 초월하지 못한다.
• 제안된 HWR 기반 벤치마크(HWRB)는 최고 성능를 보인 에이전트가 오직 22개 게임에서만 성과를 내어 뚜렷한 성능 격차가 있음을 드러낸다.
• 학습 효율성은 여전히 주요 장애물이다: 최고의 에이전트는 인간이 도달하는 성능 수준에 도달하기 위해 수 개의 샘플 수준이 더 많이 필요하다.
• HWR 기반 중앙값 성능(MED SABER)은 에이전트가 인간 월드레코드에 비해 일관되게 성능이 열등함을 보이며, 다양한 알고리즘 유형에서 각각 24.86% 및 50.5%의 중앙값 점수를 기록한다.
• 연구는 초인 성능 달성에 장애가 되는 네 가지 열린 과제를 규명한다: 샘플 효율성, 게임 간 일반화 능력, 희박한 보상에 대한 강건성, 고차원 상태공간에서의 탐색 능력.