[論文レビュー] A Comparison of learning algorithms on the Arcade Learning Environment.

Aaron Defazio, Thore Graepel|arXiv (Cornell University)|Jan 1, 2014

Reinforcement Learning in Robotics参考文献 16被引用数 3

ひとこと要約

この論文は、多様で挑戦的なアーケード・ラーニング環境（ALE）における、モデルフリーで線形の強化学習アルゴリズムの評価を実施している。ALEでは、単純な環境に見られない独自の課題が存在し、タイルコーディングと有効性トレースを用いた線形関数近似が、複数のゲームにおいてサンプル効率と性能を顕著に向上させることを示しており、今後の研究の強固なベースラインを確立している。

ABSTRACT

Reinforcement learning agents have traditionally been evaluated on small toy problems. With advances in computing power and the advent of the Arcade Learning Environment, it is now possible to evaluate algorithms on diverse and difficult problems within a consistent framework. We discuss some challenges posed by the arcade learning environment which do not manifest in simpler environments. We then provide a comparison of model-free, linear learning algorithms on this challenging problem set.

研究の動機と目的

• アーケード・ラーニング環境（ALE）という複雑で多様な環境におけるモデルフリーで線形の学習アルゴリズムの性能を評価すること。
• シンプルな強化学習環境に存在しないが、部分的可観測性や高次元状態空間といったALE固有の課題を特定すること。
• 幅広いアーケードゲームを対象に線形関数近似法をテストすることで、今後のアルゴリズム比較のための堅牢なベースラインを確立すること。
• 関数近似と有効性トレースが、複雑な制御タスクにおけるサンプル効率と学習安定性に与える影響を分析すること。

提案手法

• 本研究では、高次元状態特徴を表現するためにタイルコーディングを用いた線形関数近似を伴うモデルフリー時系列差分学習を採用している。
• 有効性トレースを適用することで、価値関数更新プロセスにおけるサンプル効率の向上と学習収束の高速化が図られている。
• 49種のアーケード2600ゲームにわたる一貫した実験フレームワークを用いることで、アルゴリズム性能の公平な比較を実現している。
• 人間のスコアを基準として正規化したスコアを用いて、人間のベースライン性能との相対的な性能を評価している。
• 最適なパフォーマンスを達成するため、学習率、タイルコーディングパラメータ、トレース減衰率をゲームごとに最適化している。

実験結果

リサーチクエスチョン

• RQ1 線形関数近似法は、シンプルな環境とは対照的に多様で複雑なタスクを有するアーケード・ラーニング環境（ALE）において、どのように性能を発揮するか？
• RQ2 標準的な線形強化学習アルゴリズムが性能を発揮できない、ALE固有の主な課題は何か？
• RQ3 有効性トレースとタイルコーディングは、ALEにおける学習安定性とサンプル効率をどの程度向上させるか？
• RQ4 これらの線形アルゴリズムは、幅広いアーケードゲームにおいて人間の性能と比較してどの程度の水準に達するか？

主な発見

• タイルコーディングと有効性トレースを用いた線形関数近似は、49種のアーケードゲームにおいて強力な性能を発揮しており、高次元状態および部分的可観測状態に対しても頑健であることが示された。
• 有効性トレースの適用により、大多数のゲームでサンプル効率が顕著に向上し、高いパフォーマンスに到達するまでのステップ数が削減された。
• タイルコーディングは、類似したゲーム状態間で良好に一般化する有効な状態表現を提供し、学習安定性を向上させた。
• 22／49のゲームで人間正規化スコアが50％を超えており、人間プレーヤーと比較して競争力のある性能を示した。
• 本研究では、部分的可観測性と疎な報酬が、標準的な線形関数近似では十分に処理されない、ALEにおける主要な課題であると特定した。