[논문 리뷰] Human-level Atari 200x faster

Steven Kapturowski, Víctor Campos외 5명|arXiv (Cornell University)|2022. 09. 15.

Reinforcement Learning in Robotics인용 수 6

한 줄 요약

이 논문은 MEME를 소개하며, 780억 프레임에서 4억 프레임으로 감소한 경험을 통해 모든 57개의 Atari 게임에서 인간 수준의 성능을 달성하는 데이터 효율적인 강화학습 에이전트를 개발한다. 이는 Agent57 대비 200배 높은 데이터 효율성을 보이며, 신뢰영역 부트스트랩핑, 정규화된 가치함수 스케일링, 딥 NFNets 기반 아키텍처, 정책 정련을 결합하여 다양한 환경에서 학습을 안정화하고 가속화한다.

ABSTRACT

The task of building general agents that perform well over a wide range of tasks has been an important goal in reinforcement learning since its inception. The problem has been subject of research of a large body of work, with performance frequently measured by observing scores over the wide range of environments contained in the Atari 57 benchmark. Agent57 was the first agent to surpass the human benchmark on all 57 games, but this came at the cost of poor data-efficiency, requiring nearly 80 billion frames of experience to achieve. Taking Agent57 as a starting point, we employ a diverse set of strategies to achieve a 200-fold reduction of experience needed to out perform the human baseline. We investigate a range of instabilities and bottlenecks we encountered while reducing the data regime, and propose effective solutions to build a more robust and efficient agent. We also demonstrate competitive performance with high-performing methods such as Muesli and MuZero. The four key components to our approach are (1) an approximate trust region method which enables stable bootstrapping from the online network, (2) a normalisation scheme for the loss and priorities which improves robustness when learning a set of value functions with a wide range of scales, (3) an improved architecture employing techniques from NFNets in order to leverage deeper networks without the need for normalization layers, and (4) a policy distillation method which serves to smooth out the instantaneous greedy policy overtime.

연구 동기 및 목표

• 모든 57개의 Atari 게임에서 Agent57의 성능을 재현하지만, 극적으로 향상된 데이터 효율성을 확보하는 일반적인 강화학습 에이전트를 개발하는 것.
• 다중 정책, 가치함수 기반 에이전트에서 경험 예산을 감소시킬 때 발생하는 안정성 문제와 병목 현상을 해결하는 것.
• Agent57 가족의 모든 정책에서 동시에 훈련하고, 높은 리플레이 비율과 온라인 부트스트랩핑을 통해 안정적인 훈련을 가능하게 하는 것.
• 이전 에이전트가 실패하는 도전적인 게임에서 성능을 희생시키지 않고도 샘플 효율성을 향상시키는 것.
• Muesli와 MuZero와 같은 최첨단 방법과 경쟁 가능한 성능을 보이며, 더 뛰어난 데이터 효율성을 확보하는 것.

제안 방법

• 온라인 Q-네트워크에서의 부트스트랩핑을 안정화하기 위해 근사 신뢰영역 방법을 사용하여 훈련 중 분포 이탈을 감소시킨다.
• 정책 가족 내 다수의 가치함수 간 광범위한 스케일 차이를 처리하기 위해 가치함수 손실과 우선순위에 대한 정규화 체계를 도입한다.
• NFNets를 영감으로 삼은 개선된 신경망 아키텍처를 채택하여 배치 정규화 레이어 없이도 깊은 네트워크를 구현한다.
• 정책 정련을 적용하여 그리디 정책을 시간에 따라 부드럽게 만듦으로써 순간적인 액션 선택으로 인한 불안정성을 감소시킨다.
• Retrace 타겟을 Watkin의 Q(λ)의 소프트 변형으로 대체하여 신호 전파 속도를 높이고 더 적극적인 트레이스 잘라내기를 줄인다.
• 높은 리플레이 비율과 모든 정책 전이를 동시에 훈련하여 데이터 활용도와 샘플 효율성을 향상시킨다.

실험 결과

연구 질문

• RQ1 Agent57 대비 200배 감소한 환경 상호작용 수로 모든 57개의 Atari 게임에서 인간 수준의 성능을 달성할 수 있는가?
• RQ2 다중 정책, 가치 기반 에이전트에서 데이터 제약을 축소할 때 발생하는 불안정성은 무엇이며, 이를 어떻게 완화할 수 있는가?
• RQ3 다중 가치함수를 동시에 훈련할 때 온라인 네트워크에서의 부트스트랩핑을 어떻게 안정화할 수 있는가?
• RQ4 가치함수의 스케일이 매우 다를 경우 손실과 우선순위의 정규화가 훈련 안정성에 얼마나 기여하는가?
• RQ5 NFNets처럼 정규화 없이 깊은 네트워크 아키텍처가 밀도 높은 보상, 다중 환경 강화학습 설정에서 데이터 효율성을 향상시킬 수 있는가?

주요 결과

• MEME는 단 4억 프레임의 경험만으로 모든 57개의 Atari 게임에서 인간 수준의 성능을 달성하며, 이는 Agent57의 780억 프레임 대비 200배 높은 효율성을 의미한다.
• 특히 Montezuma’s Revenge와 Pitfall!와 같이 유독 어려운 환경에서도 인간 기준을 초월하는 성능을 기록하며 뚜렷한 데이터 효율성을 확보한다.
• 평균적으로 MEME는 100억 프레임 내에 모든 게임에서 인간 정규화 점수의 95%를 달성하며, 이는 Agent57의 780억 프레임 대비 뚜렷한 개선이다.
• Muesli와 MuZero와의 경쟁에서 경쟁력 있는 성능을 보이며, 데이터 효율성 향상과 성능 손실 없이도 우수한 성능을 확보함을 입증한다.
• 신뢰영역 업데이트, 가치 정규화, 정책 정련의 조합은 높은 리플레이 비율과 온라인 부트스트랩핑 조건에서도 안정적인 훈련을 가능하게 한다.
• Asteroids와 Ms. Pac-Man와 같은 게임에서 MEME는 100억 프레임 이내에 각각 30만 이상, 27,000 이상의 점수를 기록하여 뛰어난 일반화 능력과 샘플 효율성을 입증한다.