[논문 리뷰] ToyBox: Better Atari Environments for Testing Reinforcement Learning Agents

John Foley, Emma Tosch외 2명|arXiv (Cornell University)|2018. 12. 06.

Reinforcement Learning in Robotics참고 문헌 17인용 수 6

한 줄 요약

ToyBox는 강화학습(Reinforcement Learning, RL) 에이전트의 엄밀한 테스트를 가능하게 하기 위해 의미론적 게임 상태를 노출하고 프로그래밍 방식으로 조작할 수 있도록 설계된 아케이드 게임의 화이트박스 재구현이다. 이는 수용 테스트, 학습 중 동적 분석, 테스트 셋 생성을 지원하며, 실험 결과 PPO2 에이전트가 Breakout에서 터널 이용 및 각도에 영향을 받지 않는 공 제어와 같은 핵심 행동 요구사항을 충족하지 못하는 것으로 나타났다.

ABSTRACT

It is a widely accepted principle that software without tests has bugs. Testing reinforcement learning agents is especially difficult because of the stochastic nature of both agents and environments, the complexity of state-of-the-art models, and the sequential nature of their predictions. Recently, the Arcade Learning Environment (ALE) has become one of the most widely used benchmark suites for deep learning research, and state-of-the-art Reinforcement Learning (RL) agents have been shown to routinely equal or exceed human performance on many ALE tasks. Since ALE is based on emulation of original Atari games, the environment does not provide semantically meaningful representations of internal game state. This means that ALE has limited utility as an environment for supporting testing or model introspection. We propose ToyBox, a collection of reimplementations of these games that solves this critical problem and enables robust testing of RL agents.

연구 동기 및 목표

• 아케이드 학습 환경(Arcade Learning Environment, ALE)이 아케이드 게임을 블랙박스 환경으로 간주함으로써 테스트 가능성과 내부 분석의 부족을 해결한다.
• 연구자들이 훈련된 RL 에이전트가 인간이 이해할 수 있는 행동 기준(예: 다양한 게임 상태에서 일관된 성능)을 충족하는지 공식적으로 테스트할 수 있도록 한다.
• ALE의 투명하지도 않은 에뮬레이션된 게임 상태의 한계를 극복하기 위해 완전히 가변적이고 의미론적으로 명확한 환경을 제공한다.
• 프로그래밍 가능한 게임 변형을 통해 강력한 수용 테스트, 학습 중 동적 모니터링, 커리큘럼 학습을 촉진한다.
• 표준 RL 에이전트가 ALE에서 높은 점수를 기록하더라도 직관적인 행동 기대치를 충족하지 못하는 경우가 흔하다는 것을 입증한다.

제안 방법

• 의미론적 상태를 첫 번째 데이터로 노출하는 완전히 가변적이고 화이트박스 기반의 프레임워크를 사용해 고전적인 아케이드 게임(예: Breakout)을 재현한다.
• 초기 공의 각도, 벽돌 구성, 패드 위치 등을 프로그래밍 방식으로 조작할 수 있도록 환경를 설계한다.
• 에이전트 행동에 대한 검증 가능한 가설로 고수준 행동 요구사항(R1–R3)을 정의한다. 예를 들어, 단독 벽돌을 때리는 것 또는 터널을 이용하는 것 등.
• OpenAI Baselines의 PPO2 알고리즘을 사용해 표준 설정으로 Breakout에서 에이전트를 훈련한 후, 제어된 ToyBox 조건에서 평가한다.
• 게임 파라미터(예: 공의 각도, 벽돌 레이아웃)를 다양화하여 합성 테스트 셋을 생성함으로써 에이전트의 강건성과 일반화 능력을 평가한다.
• 극좌표도와 중앙값 단계 수를 사용해 결과를 시각화하여 다양한 시작 조건과 구성에서의 에이전트 성능을 정량화한다.

실험 결과

연구 질문

• RQ1 ALE 환경에서는 불가능한 방식으로, RL 에이전트에 대한 고수준 행동 요구사항을 정의하고 테스트할 수 있는가?
• RQ2 Breakout에서 훈련된 딥 RL 에이전트는 강력한 플레이를 위해 요구되는 각도에 영향을 받지 않는 공 제어를 어느 정도 수행하는가?
• RQ3 에이전트는 인간 수준의 이해에 따라 사전 존재하는 터널을 안정적으로 이용해 높은 보상을 얻을 수 있는가?
• RQ4 에이전트 성능은 다양한 초기 게임 상태에서 어떻게 변화하는가? 행동 선택에 체계적인 편향이 있는지 감지할 수 있는가?
• RQ5 투명하고 조합 가능한 환경을 통해 학습 중에 반복적인 공 튀김과 같은 문제 행동을 감지할 수 있는가?

주요 결과

• 5000만 단계 훈련된 PPO2 에이전트는 R2에서 모든 초기 공 각도에서 높은 점수를 기록하여 강력한 각도 불변성(각도에 영향을 받지 않는 성능)을 보였지만, 변동성이 크고 수직 각도에서는 종종 실패했다.
• 에이전트가 R1(고립된 벽돌 청소)을 충족하지 못했다. 일부 벽돌은 다른 것들보다 훨씬 더 많은 단계를 필요로 하여 학습의 비일관성을 보였다.
• 1000만 단계 훈련된 에이전트는 화면 오른쪽을 향해 공을 때리는 데 강한 경향을 보였고, 5000만 단계 훈련된 에이전트는 중심 열을 선호하는 것으로 나타나 학습된 편향이 있었다.
• R3(터널 이용)는 지원되지 않았다. 에이전트는 거의 완성된 터널의 마지막 벽돌을 안정적으로 목표로 삼지 못했고, 예측 가능하며 비적응적인 행동을 보였다.
• 5000만 단계 훈련된 에이전트는 30회의 시험 중 적어도 한 번은 모든 초기 각도에서 전체 레벨을 완료했으며, 초기 조건에 대한 높은 강건성을 보였다.
• 반복적으로 패드 중심에서 공을 튀기는 행동이 반복적으로 관찰되었는데, 이는 인간과 유사하지 않으며 좁은 정책 행동으로의 일반화 실패를 시사한다.