[論文レビュー] StarCraft Micromanagement with Reinforcement Learning and Curriculum Transfer Learning

Kun Shao, Yuanheng Zhu+1 more|arXiv (Cornell University)|Apr 3, 2018

Artificial Intelligence in Games参考文献 49被引用数 5

ひとこと要約

本稿では、強化学習とカリキュラム転移学習を組み合わせたアプローチを提案し、StarCraftのミクロマネジメントに応用する。パラメータ共有型マルチエージェントSarsa(λ)とニューラル関数近似を用い、独自の報酬設計により複数ユニットの協調制御を実現する。本手法は小規模なシナリオで100%の勝率を達成し、段階的なカリキュラム学習によりユニットを順次訓練することで、大規模な戦闘でも優れた性能を発揮する。

ABSTRACT

Real-time strategy games have been an important field of game artificial intelligence in recent years. This paper presents a reinforcement learning and curriculum transfer learning method to control multiple units in StarCraft micromanagement. We define an efficient state representation, which breaks down the complexity caused by the large state space in the game environment. Then a parameter sharing multi-agent gradientdescent Sarsa(λ) (PS-MAGDS) algorithm is proposed to train the units. The learning policy is shared among our units to encourage cooperative behaviors. We use a neural network as a function approximator to estimate the action-value function, and propose a reward function to help units balance their move and attack. In addition, a transfer learning method is used to extend our model to more difficult scenarios, which accelerates the training process and improves the learning performance. In small scale scenarios, our units successfully learn to combat and defeat the built-in AI with 100% win rates. In large scale scenarios, curriculum transfer learning method is used to progressively train a group of units, and shows superior performance over some baseline methods in target scenarios. With reinforcement learning and curriculum transfer learning, our units are able to learn appropriate strategies in StarCraft micromanagement scenarios.

研究の動機と目的

• 高次元の状態空間と行動空間を持つ複雑で動的なStarCraftのミクロマネジメントシナリオにおいて、複数ユニットを効果的に制御する課題に対処すること。
• カリキュラム転移学習を活用することで、大規模な戦闘におけるサンプル効率と学習性能を向上させること。
• ポリシー共有と効率的な状態表現を通じて、ユニット間の協調行動を可能にすること。
• 設計された内発的報酬関数を用いて、ミクロマネジメントにおける報酬の疎らさと遅延問題を効果的に軽減すること。

提案手法

• 関連するユニットおよび敵の情報を重視することで、大規模な状態空間における複雑さを低減する効率的な状態表現を提案する。
• 共有ポリシーを用いたユニット間の協調学習を可能にする、パラメータ共有型マルチエージェント勾配降下Sarsa(λ)（PS-MAGDS）アルゴリズムを導入する。
• 行動価値関数の関数近似に深層ニューラルネットワークを採用し、類似したユニット構成間での一般化を可能にする。
• 移動と攻撃の意思決定をバランスさせる報酬関数を設計し、効果的な戦闘行動を促進する。
• 段階的なカリキュラム学習を適用し、複雑度が徐々に増加するシナリオでエージェントを順次訓練することで、収束を加速し、最終的な性能を向上させる。
• 単純な戦闘シナリオ（例：3対6）を解ける段階から始め、より複雑なシナリオ（例：20対30）に段階的に進む階層的な訓練スケジュールを採用する。

実験結果

リサーチクエスチョン

• RQ1 StarCraftのミクロマネジメントにおいて、中央集権的制御なしに複数ユニットに共通のポリシーを適用することで、効果的な協調行動を達成できるか？
• RQ2 報酬設計を用いることで、ミクロマネジメントにおける報酬の疎らさと遅延問題を効果的に軽減できるか？
• RQ3 カリキュラム転移学習は、大規模なStarCraft戦闘シナリオにおける訓練効率と性能を顕著に向上させられるか？
• RQ4 手動でコーディングされた戦術なしに、深層強化学習エージェントがヒット・アンド・ラン、フランク、集中攻撃といった複雑な戦術を学習できる程度はどの程度か？
• RQ5 さまざまなシナリオの複雑さにおいて、提案手法PS-MAGDSはベースライン手法と比較して、勝率と収束速度の点で優れた性能を示すか？

主な発見

• 小規模なシナリオ（例：3体のゴリアス対6体のジーロット）において、本手法は組み込みAIに対して100%の勝率を達成し、効果的なミクロマネジメントと協調行動を示した。
• ユニットは敵をグループに分離し、孤立した標的を集中攻撃するといったグローバル戦略を効果的に学習・実行した。
• 大規模なシナリオ（例：20体のマリーン対30体のズールリンク）において、カリキュラム転移学習アプローチにより安定した訓練が可能となり、ベースライン手法と比較して優れた性能を発揮した。
• ゲームリプレイの可視化から、急速な移動・攻撃・後退のサイクルを示すヒット・アンド・ラン戦術が、ユニットによって学習・実行されていることが観察された。
• カリキュラム学習を用いることで、スケーラビリティとサンプル効率が向上し、訓練時間を短縮するとともに、複雑なシナリオへの一般化能力が向上した。
• 強力な性能を発揮しているものの、一部の制限要因も残っており、戦闘参加のタイミングが一貫しないことや、敵を避けるためにマップの端に移動する傾向があることなどが指摘された。