[論文レビュー] Sampled Policy Gradient for Learning to Play the Game Agar.io

Anton Wiehe, Nil Stolt-Ansó+2 more|arXiv (Cornell University)|Sep 15, 2018

Reinforcement Learning in Robotics参考文献 20被引用数 6

ひとこと要約

本論文では、行動空間でのアクションのサンプリングとコーチによる方策勾配の近似を用いることで、連続的制御における探索を向上させる、新しいオフラインのアクタ・クリティック強化学習アルゴリズムであるサンプリング方策勾配（SPG）を提案する。SPGは、広範なサンプリングを伴わずDPGと同等の性能を達成し、ペレット収集タスクではQ学習およびCACLAを上回るが、すべてのアルゴリズムが戦闘シナリオにおける邪魔なボットに勝てない。

ABSTRACT

In this paper, a new offline actor-critic learning algorithm is introduced: Sampled Policy Gradient (SPG). SPG samples in the action space to calculate an approximated policy gradient by using the critic to evaluate the samples. This sampling allows SPG to search the action-Q-value space more globally than deterministic policy gradient (DPG), enabling it to theoretically avoid more local optima. SPG is compared to Q-learning and the actor-critic algorithms CACLA and DPG in a pellet collection task and a self play environment in the game Agar.io. The online game Agar.io has become massively popular on the internet due to intuitive game design and the ability to instantly compete against players around the world. From the point of view of artificial intelligence this game is also very intriguing: The game has a continuous input and action space and allows to have diverse agents with complex strategies compete against each other. The experimental results show that Q-Learning and CACLA outperform a pre-programmed greedy bot in the pellet collection task, but all algorithms fail to outperform this bot in a fighting scenario. The SPG algorithm is analyzed to have great extendability through offline exploration and it matches DPG in performance even in its basic form without extensive sampling.

研究の動機と目的

• 連続的制御環境におけるより包括的な探索を可能にする、新しいオフポリシーのアクタ・クリティックアルゴリズムの開発。
• 簡略化されたAgar.io環境において、Q学習、CACLA、DPGといった既存のアルゴリズムとSPGを比較すること。
• 複雑で確率的な環境における方策勾配学習に、オフライン探索とアクションサンプリングの影響を評価すること。
• DPGとSPGに比べてCACLAが特定のタスクで優れる理由（状態価値評価関数ではなく状態-行動価値関数を使用しているにもかかわらず）を解明すること。
• SPGが今後の連続的アクション空間におけるRL研究のための柔軟で拡張可能なフレームワークとしての可能性を検討すること。

提案手法

• SPGは、行動空間で複数のアクションをサンプリングし、コーチを用いてそれらの期待リターンを評価することで、方策勾配を近似する。
• アルゴリズムはコーチネットワークを用いてサンプルされたアクションの価値を推定し、決定論的方策勾配と比較して、行動-Q価値空間におけるより包括的な探索を可能にする。
• ガウス分布によるオフライン探索を採用し、各遷移に対して最良のサンプルアクションを保存することで、学習の安定性と性能を向上させる。
• アクターは、サンプルされたアクションに関してコーチの出力の勾配を用いて更新され、DPGとCACLAの要素を統合する。
• ハイパーパrameterは粗いサーチにより調整され、すべてのアルゴリズムは同一のKerasベースの実装とOpenAIの経験再生バッファを用いて、公平な比較を確保した。
• 本手法は、分布的コーチや階層的アーキテクチャなどの拡張をサポートしており、複雑な環境への適応性を高めている。

実験結果

リサーチクエスチョン

• RQ1 SPGにおける行動空間のサンプリング探索は、決定論的方策勾配と比較して、収束性の向上と局所最適解の回避に寄与するか？
• RQ2 SPGは、Agar.ioにおけるペレット収集およびセルフプレイシナリオにおいて、Q学習、CACLA、DPGと比較してどの程度の性能を示すか？
• RQ3 Q学習が連続的アクション空間を離散化しているにもかかわらず、状態価値評価関数を用いるにもかかわらず、なぜペレット収集タスクでCACLAがDPGおよびSPGを上回るのか？
• RQ4 オフライン探索と最良アクションのキャッシュは、SPGの学習効率と最終的性能をどの程度向上させるか？
• RQ5 今後の研究において、分布的コーチや好奇心駆動探索といった高度な技術をSPGに効果的に統合できるか？

主な発見

• SPGは、初期段階での学習が遅いものの、重いサンプリングやアーキテクチャの拡張なしに、ペレット収集タスクでDPGと同等の最終的性能を達成する。
• Q学習は、連続的アクション空間を離散化しているにもかかわらず、より単純で安定した学習メカニズムを活用しているため、ペレット収集タスクでアクタ・クリティック手法を上回る。
• CACLAは、状態価値評価関数を用いるにもかかわらず、アクタ・クリティック手法の中で最も高い性能を示す。これは、コーチ関数の選択が学習の安定性と結果に大きな影響を与えることを示唆している。
• すべてのアルゴリズムが、直接戦闘シナリオにおいて事前にプログラムされたグリーディボットに勝てない。これは、現在の手法が複雑で高リスクな戦略的相互作用に対処するのに困難を抱えていることを示している。
• オフラインガウスサンプリングと各遷移における最良サンプルアクションの保存は、SPGの性能を顕著に向上させ、推奨されるデフォルト設定であると判明した。
• 分析から、SPGは、強力な探索性とコーチの正確性を要する環境において、今後の拡張のための強固な基盤となる可能性があると示唆された。