[論文レビュー] Asynchronous Advantage Actor-Critic Agent for Starcraft II

Basel Alghanem, P G Keerthana|arXiv (Cornell University)|Jul 22, 2018

Reinforcement Learning in Robotics参考文献 7被引用数 4

ひとこと要約

本稿では、複数のミニゲームにわたるサンプル効率と収束速度の向上を図るために転移学習を活用した、StarCraft II用の非同期アドバンテージアクターキャリブレーション（A3C）エージェントを提案している。著者らは、より単純なシナリオでの事前学習が、複雑な合成マップ（例：Simple64）における学習を著しく加速し、学習済みのポリシーを用いた学習が、初期化から学習する場合よりも優れた性能を発揮することを示している。

ABSTRACT

Deep reinforcement learning, and especially the Asynchronous Advantage Actor-Critic algorithm, has been successfully used to achieve super-human performance in a variety of video games. Starcraft II is a new challenge for the reinforcement learning community with the release of pysc2 learning environment proposed by Google Deepmind and Blizzard Entertainment. Despite being a target for several AI developers, few have achieved human level performance. In this project we explain the complexities of this environment and discuss the results from our experiments on the environment. We have compared various architectures and have proved that transfer learning can be an effective paradigm in reinforcement learning research for complex scenarios requiring skill transfer.

研究の動機と目的

• 深層強化学習エージェントをStarCraft IIで訓練するための異なるニューラルネットワークアーキテクチャの有効性を評価すること。
• 転移学習が、異なるStarCraft IIミニゲーム間で学習を加速させ、ポリシー性能を向上させることの可能性を調査すること。
• 高次元環境における訓練速度と局所最適解への収束のトレードオフを分析すること。
• 報酬の疎らさと部分的観測性がエージェントの訓練およびポリシー学習に与える影響を特定すること。
• より単純なタスクからの事前学習ポリシーを用いて、より複雑な合成シナリオを解くことの可能性を検討すること。

提案手法

• 著者らは、PySC2環境上で複数の環境を並列に非同期的に訓練することで、非同期アドバンテージアクターキャリブレーション（A3C）アルゴリズムを実装し、エージェントを訓練した。
• 3つのネットワークアーキテクチャを評価した：ベースラインの順伝播ネットワーク、残差接続を組み込んだ全結合ネットワーク（PlusFC）、畳み込みネットワーク（PlusConv）。後者の2つは、より良い特徴抽出を実現するため、残差および畳み込み演算を統合している。
• 転移学習は、関連するがより単純なタスクからの事前学習モデルを用いて、新しいタスクのポリシーネットワークを初期化することで適用された。例えば、FindAndDefeatZerglingsのポリシーを用いて、DefeatZerglingsAndBanelingsの訓練を初期化した。
• エージェントは、報酬がスパarsな三値報酬（勝利／敗北／引き分け）と、連続的なフィードバックを提供する密度の高いBlizzardスコアの両方を用いて訓練された。これにより学習の安定性が向上した。
• 訓練は、CollectMineralShards、FindAndDefeatZerglings、DefeatZerglingsAndBanelings、BuildMarines、および合成マップのSimple64を含む、StarCraft IIミニゲームのスイートで実施された。
• ポリシー劣化を軽減するために、モデルのプルーニングとチェックポイントからの復元が用いられ、特に高難易度のシナリオで有効であった。

実験結果

リサーチクエスチョン

• RQ1 転移学習は、複雑なStarCraft IIミニゲームにおいて、訓練時間を顕著に短縮し、性能を向上させることができるか？
• RQ2 ベースライン、PlusFC、PlusConvの各ニューラルネットワークアーキテクチャは、StarCraft IIタスクにおける収束速度と最終的性能において、どのように比較されるか？
• RQ3 三値報酬に比べて、密度の高いBlizzardスコアを使用することで、学習がどの程度向上するか？
• RQ4 より単純なタスクで事前学習したポリシーは、Simple64のようなより複雑な合成シナリオにおけるポリシー一般化を向上させるか？
• RQ5 高難易度環境ではなぜエージェントがしばしば局所最適解に収束するのか？ また、アーキテクチャ的・アルゴリズム的変更によってこの問題を緩和できるか？

主な発見

• FindAndDefeatZerglingsで事前学習したポリシーを用いた転移学習により、DefeatZerglingsAndBanelingsタスクの訓練が著しく加速し、性能が向上した。エージェントが新たな効果的な戦略を探索するにつれ、スコアは時間経過とともに向上した。
• PlusConvおよびPlusFCアーキテクチャは、空間的推論や長時間スパンの計画を要する複雑なシナリオにおいて、ベースラインネットワークを上回る収束速度と最終的性能を示した。
• BuildMarinesミニゲームで初期化から訓練した場合、4,000エピソード以内に有意義な進展が得られず、エージェントはマリーンを建造する方法を学習できず、報酬がゼロに留まった。これは報酬の疎らさと高い行動空間の複雑さに起因する課題を示している。
• Simple64合成マップでは、ベースラインネットワークを用いた場合、18,000エピソード目で非ゼロのスコアを達成したが、リーダーボードレベルには及ばず、マルチタスク一般化の改善の余地があることが示唆された。
• FindAndDefeatZerglingsで訓練したエージェントは、時間経過とともに探索能力が向上したが、依然としてマップの30–40％が未探索のままであり、部分的観測環境における探索の課題が依然として根強く残っていることを示した。
• 高次元で報酬が疎らな環境における訓練の不安定性を裏付けるように、ポリシー劣化のため、モデルのプルーニングと良好なチェックポイントからの再訓練が必要となった。