[논문 리뷰] The Arcade Learning Environment: An Evaluation Platform for General Agents

Marc G. Bellemare, Yavar Naddaf외 2명|2012. 07. 19.

Artificial Intelligence in Games참고 문헌 26인용 수 193

한 줄 요약

이 논문은 일반적 인공지능 에이전트를 평가하기 위한 강화학습 벤치마크 플랫폼인 아케이드 학습 환경(Arcade Learning Environment, ALE)을 소개한다. 아케이드 학습 환경은 에뮬레이트된 아타리 2600 게임을 사용하여 도메인 독립적인 엄격한 평가를 가능하게 하며, 55개 이상의 게임을 통한 표준화된 인터페이스를 제공한다. 이는 일부 게임에서 훈련된 에이전트가 새로운 게임으로 일반화되어 측정 가능한 성능을 보임을 보여주며, 일반적 인공지능 개발을 위한 확장 가능한 테스트베드를 구축한다.

ABSTRACT

In this article we introduce the Arcade Learning Environment (ALE): both a challenge problem and a platform and methodology for evaluating the development of general, domain-independent AI technology. ALE provides an interface to hundreds of Atari 2600 game environments, each one different, interesting, and designed to be a challenge for human players. ALE presents significant research challenges for reinforcement learning, model learning, model-based planning, imitation learning, transfer learning, and intrinsic motivation. Most importantly, it provides a rigorous testbed for evaluating and comparing approaches to these problems. We illustrate the promise of ALE by developing and benchmarking domain-independent agents designed using well-established AI techniques for both reinforcement learning and planning. In doing so, we also propose an evaluation methodology made possible by ALE, reporting empirical results on over 55 different games. All of the software, including the benchmark agents, is publicly available.

연구 동기 및 목표

• 다양한 환경에서 일반적 인공지능 에이전트를 평가하기 위한 표준화되고 도메인에 의존하지 않는 벤치마크를 구축하기.
• 과거 평가의 방법론적 결함을 해결하기 위해 일부 게임에서 훈련하고 새로운 게임에서 테스트함으로써 과적합을 방지하기.
• 강화학습, 계획, 모방학습 기법을 비교하기 위한 확장 가능하고 공개된 플랫폼을 제공하기.
• 실제 세계의 복잡성을 반영한 도전적이고 접근 가능한 테스트베드를 제공함으로써 일반 목적 인공지능 개발을 촉진하기.
• 표준적인 인공지능 기법을 사용하여 도메인에 의존하지 않는 에이전트가 아타리 2600 게임 전반에서 측정 가능한 성능을 달성할 수 있음을 입증하기.

제안 방법

• ALE는 스테라 에뮬레이터를 기반으로 하여 아타리 2600 ROM에 접근하고 게임 상태, 동작, 보상, 종료 조건을 추출하는 소프트웨어 인터페이스를 제공한다.
• 각 게임은 관측값이 화면 픽셀과 RAM에서 오는 마르코프 결정 과정(Markov Decision Process, MDP)으로 정식화되며, 동작는 조이스틱 입력으로 매핑된다.
• 훈련/테스트 분할 전략을 적용한다: 에이전트는 고정된 다섯 개의 게임(예: 아스테릭스, 비임라이더, 프리웨이, 시어서큐어, 스페이스인베이더)에서 튜닝되고 55개 이상의 새로운 게임에서 평가된다.
• 평가 방법론은 평가 후 알고리즘 수정을 방지하기 위해 새로운 게임에서 한 번만 테스트하도록 강제하여 공정한 비교를 보장한다.
• 표준 강화학습(예: Q-러닝) 및 계획(예: UCT를 사용한 몬테카를로 트리 서치) 기법을 활용하여 도메인에 의존하지 않는 에이전트를 개발한다.
• 성능는 각 게임당 다수의 무작위 시드와 에피소드에서 평균 인간 정규화 점수로 측정된다.

실험 결과

연구 질문

• RQ1 도메인에 의존하지 않는 강화학습 에이전트는 아타리 2600 게임의 다양성 있는 세트에서 일관된 성능을 달성할 수 있는가?
• RQ2 모델 기반 탐색을 사용할 때 계획 기반 에이전트는 새로운 아타리 게임 간에 얼마나 잘 일반화되는가?
• RQ3 소규모 훈련 게임 세트에서의 성능는 더 넓은 범위의 새로운 게임으로의 일반화를 얼마나 잘 예측하는가?
• RQ4 단일 에이전트 아키텍처가 도메인 특화 튜닝 없이 여러 게임 장르에서 경쟁 가능한 성능를 달성할 수 있는가?
• RQ5 표준 강화학습과 계획 기법의 상대적 성능는 통합된, 교차 게임 기반의 표준화된 벤치마크에서 어떻게 평가되는가?

주요 결과

• ALE 플랫폼은 55개 이상의 아타리 2600 게임에서 일반 에이전트의 일관되고 재현 가능한 평가를 가능하게 하며, 모든 소프트웨어와 벤치마크 에이전트가 공개되어 있다.
• 강화학습 에이전트는 55개 게임 중 8개에서 평균 인간 정규화 점수 100% 이상을 기록했으며, 쿵푸마스터에서 최고 점수 19,000을 초과하고 비디오 핀볼에서 20,000을 기록했다.
• 몬테카를로 트리 서치(UCT)를 사용한 계획 에이전트는 55개 게임 중 45개에서 베이스라인 방법을 능가했으며, 최고의 UCT 에이전트가 비디오 핀볼에서 254,748점의 점수를 기록했다.
• 훈련/테스트 분할 전략은 과적합을 방지하는 데 성공했으며, 다섯 개 게임에서 훈련된 에이전트가 측정 가능한 성능로 새로운 환경으로 일반화됨을 보여주었다.
• 몬테주마의 러브는 여전히 도전적인 과제였으며, 최고의 에이전트도 단지 10.7점에 그쳤다. 이는 희박한 보상과 장기적인 목표를 가진 과제의 어려움을 보여준다.
• 벤치마크는 심지어 표준 강화학습과 계획 기법도 통합된 엄격한 프레임워크에서 평가될 경우 다양한 게임 장르에서 강력한 성능를 달성할 수 있음을 드러냈다.