[論文レビュー] ToyBox: Better Atari Environments for Testing Reinforcement Learning Agents

John Foley, Emma Tosch+2 more|arXiv (Cornell University)|Dec 6, 2018

Reinforcement Learning in Robotics参考文献 17被引用数 6

ひとこと要約

ToyBox は、意味的なゲーム状態を公開し、プログラムによる操作を可能にする、アタリゲームのホワイトボックス再実装である。強化学習（RL）エージェントの厳密なテストを可能にする。受容テスト、学習中の動的分析、テストセット生成をサポートする。実験では、PPO2 エージェントがブレイクアウトでトンネルの利用や角度に依存しないボール制御といった、重要な行動的要件を満たさないことが示された。

ABSTRACT

It is a widely accepted principle that software without tests has bugs. Testing reinforcement learning agents is especially difficult because of the stochastic nature of both agents and environments, the complexity of state-of-the-art models, and the sequential nature of their predictions. Recently, the Arcade Learning Environment (ALE) has become one of the most widely used benchmark suites for deep learning research, and state-of-the-art Reinforcement Learning (RL) agents have been shown to routinely equal or exceed human performance on many ALE tasks. Since ALE is based on emulation of original Atari games, the environment does not provide semantically meaningful representations of internal game state. This means that ALE has limited utility as an environment for supporting testing or model introspection. We propose ToyBox, a collection of reimplementations of these games that solves this critical problem and enables robust testing of RL agents.

研究の動機と目的

• アーケード学習環境（ALE）がアタリゲームをブラックボックス環境として扱うため、テスト可能性と内部観察性に欠ける問題に対処する。
• 研究者が訓練済みの RL エージェントが人間が理解可能な行動的基準（たとえば、ゲーム状態にわたる一貫したパフォーマンス）を満たしているかどうかを形式的にテストできるようにする。
• ALE の不透明でエミュレートされたゲーム状態の制限を克服し、完全にパラメータ設定可能で意味的に明確な環境を提供する。
• プログラム可能なゲーム変種を通じて、強固な受容テスト、学習中の動的監視、カリキュラム学習を促進する。
• 標準的な RL エージェントが、ALE で高いスコアを達成しても、直感的な行動的期待を満たさないことが、実証的に示される。

提案手法

• ブレイクアウトなどの古典的アタリゲームを、完全にパラメータ設定可能でホワイトボックスなフレームワークに再実装し、内部ゲーム状態を第一級のデータとして公開する。
• 初期ボールの角度、ブリック配置、パドル位置のプログラムによる操作を可能にする環境を設計する。
• エージェント行動に関する検証可能な仮説として、高レベルの行動的要件（R1–R3）を定義する。たとえば、孤立したブリックを倒すことやトンネルの利用など。
• OpenAI Baselines の PPO2 アルゴリズムを用いて、標準設定でブレイクアウトでエージェントを学習させ、その後、制御された ToyBox 条件下で評価する。
• ボールの角度やブリックレイアウトなどのゲームパラメータを変化させることで、合成テストセットを生成し、エージェントのロバストネスと一般化能力を評価する。
• 極座標プロットと中央値ステップ数を用いて可視化し、異なる初期状態や設定におけるエージェントパフォーマンスを定量的に測定する。

実験結果

リサーチクエスチョン

• RQ1 ALE 環境では実現不可能な方法で、RL エージェントの高レベルな行動的要件を定義し、テストすることは可能か？
• RQ2 ブレイクアウトで学習した深層強化学習エージェントは、遊びのロバスト性に求められる角度に依存しないボール制御をどの程度実現しているか？
• RQ3 エージェントは、事前に存在するトンネルを確実に利用して高い報酬を得ることができるだろうか？これは人間レベルの理解に基づく期待である。
• RQ4 エージェントのパフォーマンスは、さまざまな初期ゲーム状態でどのように変化するか？行動選択に系統的なバイアスが見られるか？
• RQ5 透明で合成可能な環境を用いることで、学習中に問題行動（たとえば、繰り返しボールをパドル中央で跳ね返すこと）を検出できるか？

主な発見

• 5000万ステップ学習した PPO2 エージェントは、R2 においてすべての初期ボール角度で高いスコアを達成し、強い角度不変性を示したが、変動が大きく、縦方向の角度ではときおり失敗した。
• R1（孤立ブリックのクリア）を満たさなかった。一部のブリックは他のものよりもはるかに多くのステップを要し、学習の不一致が示された。
• 1000万ステップ学習したエージェントは、画面右側にボールを打つ強い傾向を示したが、5000万ステップ学習したエージェントは中央列を好む傾向を示し、学習されたバイアスが現れた。
• R3（トンネルの利用）は満たされなかった。エージェントは、ほぼ完成したトンネルの最終ブリックを確実に狙うことができず、予測可能で非適応的な行動を示した。
• 5000万ステップ学習したエージェントは、30回の試行のうち少なくとも1回は、すべての初期角度から完全なレベルをクリアすることができ、初期条件へのロバストネスが高かった。
• 繰り返しパドル中央でボールを跳ね返すという、繰り返しの行動が観察された。これは人間的でなく、狭いポリシー行動に一般化できていないことを示唆する。