[論文レビュー] StarCraft II Build Order Optimization using Deep Reinforcement Learning and Monte-Carlo Tree Search

Islam Elnabarawy, Kristijana Arroyo+1 more|arXiv (Cornell University)|Jun 12, 2020

Artificial Intelligence in Games参考文献 7被引用数 4

ひとこと要約

本稿では、モンテカルロ木探索（MCTS）とディープ強化学習を組み合わせたハイブリッド手法を提案し、『StarCraft II』の『BuildMarines』ミニゲームにおけるビルドオーダー最適化を目的としている。MCTSエージェントは最小限の計算量で初心者レベルのパフォーマンスを達成するが、深層ニューラルネットワークの統合が、ロールアウトコストを低減し、時間制約内でより深い探索を可能にするため、エキスパートレベルの結果に到達する上で不可欠であることが示された。

ABSTRACT

The real-time strategy game of StarCraft II has been posed as a challenge for reinforcement learning by Google's DeepMind. This study examines the use of an agent based on the Monte-Carlo Tree Search algorithm for optimizing the build order in StarCraft II, and discusses how its performance can be improved even further by combining it with a deep reinforcement learning neural network. The experimental results accomplished using Monte-Carlo Tree Search achieves a score similar to a novice human player by only using very limited time and computational resources, which paves the way to achieving scores comparable to those of a human expert by combining it with the use of deep reinforcement learning.

研究の動機と目的

• モンテカルロ木探索（MCTS）を用いたStarCraft IIにおけるビルドオーダー最適化の可能性を検討すること。
• 抽象化されたマクロ戦略学習環境である『BuildMarines』ミニゲームにおいて、MCTSの単独でのパフォーマンスを評価すること。
• 計算制約のため、純粋なMCTSがエキスパートレベルのパフォーマンスに到達できないことの限界を特定すること。
• MCTSとディープ強化学習を組み合わせることで、最適化の効率と結果の質を著しく向上させる基盤を構築すること。

提案手法

• エージェントは、補給デポの生産時間、バニヤードの生産時間、マリーンの生産時間といった重要なゲーム変数に基づく抽象化された状態表現を用いる。
• MCTSはUCB1選択戦略を用い、探索パラメータβ = 1/√2として実装される。
• 行動にはno-op、ワーカーの訓練、補給の建設、バニヤードの建設、マリーンの訓練が含まれ、状態遷移は行動選択に応じて更新される。
• 生産キューの時間は各フレームごとに進み、マグネシウム収集はワーカー数に比例するレートでシミュレートされる。
• ゲームは約10分後に終了し、最終スコアは終了時の生存マリーン数として定義される。
• MCTSエージェントは各タイムステップで複数の反復を実行し、反復回数の上限（1～10）を変えて結果を収集した。

実験結果

リサーチクエスチョン

• RQ1 MCTSは単独で『StarCraft II』の『BuildMarines』ミニゲームにおいて競争力のあるビルドオーダー最適化を達成できるか？
• RQ2 MCTSの反復回数を増加させることで、最終的なマリーン数という観点からパフォーマンスにどのような影響を与えるか？
• RQ3 この環境における純粋なMCTSのパフォーマンスの上限は何か？また、初心者およびエキスパートレベルの人間プレーヤーと比べてどうか？
• RQ4 ディープ強化学習のニューラルネットワークが、コストの高いロールアウトを価値関数推定に置き換えることで、MCTSのパフォーマンスをどの程度向上できるか？

主な発見

• MCTSエージェントは5反復で最多94マリーンを達成し、これは初心者レベルの人間プレーヤーと同等のパフォーマンスであった。
• 反復回数が3～10の間ではスコアが90～94で頭打ちとなり、反復回数の増加による利得が著しく減少することが示された。
• テスト範囲内の反復回数では94マリーンを超えるスコアの向上が顕著に見られず、純粋なMCTSの計算制約が顕在化した。
• 94マリーンを超えるスコアを達成するには著しい計算時間の増加が必要であると示唆され、純粋なMCTSではエキスパートレベルのパフォーマンスに到達できないことが示された。
• 研究の結論として、ロールアウトコストを低減し、固定時間制約内でより深い、より効率的な探索を可能にするために、ディープ強化学習のニューラルネットワークの統合が不可欠であると結論づけた。
• MCTSとディープ強化学習の組み合わせにより、エキスパートレベルの人間プレーヤーと同等のパフォーマンスに到達できると予想される。