[論文レビュー] On Reinforcement Learning for Full-length Game of StarCraft

Zhen-Jia Pang, Ruo-Ze Liu+4 more|arXiv (Cornell University)|Sep 23, 2018

Reinforcement Learning in Robotics参考文献 22被引用数 7

ひとこと要約

本論文では、マクロアクションとカリキュラム転移学習を組み合わせた階層的強化学習アプローチを提案し、フルレングスのStarCraft IIゲームにおけるエージェントの訓練を実現している。2段階のアーキテクチャと報酬設計を用いることで、限られた計算リソースのもとで64×64マップにおいて、難易度1のAI相手に対して99％以上の勝率を達成し、最強の不正をしない組み込みAI（難易度7）相手に対しても93％以上の勝率を記録した。

ABSTRACT

StarCraft II poses a grand challenge for reinforcement learning. The main difficulties of it include huge state and action space and a long-time horizon. In this paper, we investigate a hierarchical reinforcement learning approach for StarCraft II. The hierarchy involves two levels of abstraction. One is the macro-action automatically extracted from expert's trajectories, which reduces the action space in an order of magnitude yet remains effective. The other is a two-layer hierarchical architecture which is modular and easy to scale, enabling a curriculum transferring from simpler tasks to more complex tasks. The reinforcement training algorithm for this architecture is also investigated. On a 64x64 map and using restrictive units, we achieve a winning rate of more than 99\% against the difficulty level-1 built-in AI. Through the curriculum transfer learning algorithm and a mixture of combat model, we can achieve over 93\% winning rate of Protoss against the most difficult non-cheating built-in AI (level-7) of Terran, training within two days using a single machine with only 48 CPU cores and 8 K40 GPUs. It also shows strong generalization performance, when tested against never seen opponents including cheating levels built-in AI and all levels of Zerg and Protoss built-in AI. We hope this study could shed some light on the future research of large-scale reinforcement learning.

研究の動機と目的

• フルレングスのStarCraft IIゲームにおける、巨大な状態空間と行動空間、長い時間スケール、部分的観測の課題に対処すること。
• 大規模な訓練を簡素化するためのスケーラブルでモジュラーな階層的強化学習アーキテクチャを構築すること。
• カリキュラム転移学習と効果的な報酬設計を通じて、サンプル効率と学習安定性を向上させること。
• 限られた計算リソースを用いて、組み込みAI相手に対して優れたパフォーマンスを達成すること。

提案手法

• 2段階の階層的アーキテクチャを採用し、上位コントローラーがサブポリシーを選択し、下位ポリシーがエキスパートのデモから抽出されたマクロアクションを実行する。
• エキスパートの軌道からマクロアクションを抽出することで、行動空間を1桁小さくし、戦略的効果を保持したままにした。
• カリキュラム転移学習戦略により、簡単なAIから難しいAIの相手へ段階的に訓練を進め、一般化性能と収束性を向上させた。
• 報酬設計では、勝敗信号とハンドクラフトされた報酬を組み合わせ、ポリシー学習をガイドし、劣悪な行動を回避した。
• 1台のマシンに4つのGPUと48本のCPUスレッドを用い、耐障害性を高めるために戦闘モデルの混合を使用した。
• ハイパーパramータチューニングは、反復ごとのエピソード数に焦点を当て、他のパrameterは学習にほとんど影響を与えなかった。

実験結果

リサーチクエスチョン

• RQ1 マクロアクションを用いた階層的RLアーキテクチャは、フルレングスのStarCraft IIの複雑さを効果的に低減しつつ、高いパフォーマンスを維持できるか？
• RQ2 カリキュラム転移学習は、複雑で長時間スケールのゲームにおけるサンプル効率と最終ポリシー性能にどのように影響するか？
• RQ3 結果に基づく報酬（勝敗）とハンドクラフトされた報酬の相対的な影響は、学習安定性と最終勝率にどのように現れるか？
• RQ4 モジュラーな2段階アーキテクチャは、非階層的設計と比較して、スケーラビリティとサブポリシーの交換性をどのように向上させるか？
• RQ5 大規模なStarCraft II訓練において、学習収束性とパフォーマンスに最も顕著に影響を与えるハイパーパrameterは何か？

主な発見

• マクロアクションを用いた階層的アーキテクチャは、4つのGPUと48本のCPUスレッドを用い、64×64マップにおいて難易度1の組み込みAI相手に対して99％以上の勝率を達成した。
• 戦闘ネットワークとルールベース戦略を組み合わせた混合モデルが、最も難しい非不正AI（難易度7）相手に対して最高の勝率（93％以上）を記録した。
• 高難易度レベルでは、階層的アーキテクチャが非階層的単一ポリシーのベースラインを著しく上回り、抽象化とモularityの価値を示した。
• 結果に基づく（勝敗）報酬のみでは、難易度7で劣悪なパフォーマンスが得られたが、ハンドクラフトされた報酬を導入することで学習安定性と最終成績が向上した。
• 訓練反復ごとのエピソード数を増やすことで、特に難易度の高いレベルで学習安定性と収束性が向上した。
• 本研究では、カリキュラム学習と報酬設計が、大規模で長時間スケールの強化学習タスクにおいて優れたパフォーマンスを達成する上で極めて重要であることが示された。