[論文レビュー] Experiments with Game Tree Search in Real-Time Strategy Games

Santiago Ontañón|arXiv (Cornell University)|Aug 9, 2012

Artificial Intelligence in Games参考文献 17被引用数 9

ひとこと要約

本稿では、非ターン制のプレイを扱うという挑戦に応じて、リアルタイムストラテジー（RTS）ゲーム向けに最適化されたミニマックスアルゴリズムの変種、RTMM（リアルタイムミニマックス）を紹介する。RTMMは、単純化されたRTSゲームのような分岐要因が小さい状況では強力な戦術的性能を示すが、追加のサンプリング手法（例：UCT）がなければ、複雑で分岐要因の大きい環境では困難を極める。

ABSTRACT

Game tree search algorithms such as minimax have been used with enormous success in turn-based adversarial games such as Chess or Checkers. However, such algorithms cannot be directly applied to real-time strategy (RTS) games because a number of reasons. For example, minimax assumes a turn-taking game mechanics, not present in RTS games. In this paper we present RTMM, a real-time variant of the standard minimax algorithm, and discuss its applicability in the context of RTS games. We discuss its strengths and weaknesses, and evaluate it in two real-time games.

研究の動機と目的

• 従来のゲームツリー探索アルゴリズム（例：ミニマックス）が、従来ターン制を想定しているリアルタイムストラテジー（RTS）ゲームに効果的に適応可能かどうかを調査すること。
• リアルタイムのプレイ動作において、行動が連続的かつ同時に発生するという、標準的なミニマックスが適用できない根本的課題に対処すること。
• 部分観測性や非決定的要因といった他のRTSの複雑さとは独立して、リアルタイム実行に特化したRTMMの性能を評価すること。
• RTMMの性能を、単純化された環境と本格的なRTS環境の両方で評価し、ベースラインAI戦略と比較すること。
• RTMMを、特にUCTのようなサンプリングベースの手法と組み合わせることで、リアルタイム領域へのゲームツリー探索の拡張を可能とする基盤フレームワークとして確立すること。

提案手法

• 連続的かつ同時的な行動実行に対応するため、前方探索の制限と即時の行動選択の優先順位付けを施した、標準ミニマックスのリアルタイム版であるRTMMを提案する。
• 高次元の不確実性や同時行動が生じる状況でも耐性を高めるために、ランダム化されたアルファベータ pruning を適用したRRTMM（ランダム化RTMM）を導入する。
• 複雑なヒューリスティクスを避けるために、ユニットのリソースコストに基づく単純な評価関数を用いてゲーム状態の価値を推定する。
• RTMMを2つのテスト環境に実装する：BattleCity（単純なリアルタイムアクションゲーム）とμRTS（完全観測性と決定論的メカニズムを持つミニマルなRTSシミュレータ）。
• 固定された深さ制限と時間予算を適用し、ゲーム状態が探索中に変化してもリアルタイム制約内で行動を選択できるようにする。
• RTMMを、ミーリー戦（4v4ユニット戦闘）とフルゲーム（8x8マップ、拠点建設）の両方のシナリオにおいて、確率的AIおよびラッシュ戦略AIと比較し、戦術的および戦略的性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 ターン制を前提としていなかったリアルタイムストラテジー（RTS）ゲームに、標準的なミニマックスアルゴリズムを効果的に適応できるか？
• RQ2 連続的行動実行と同時行動が生じるリアルタイム環境において、RTMMはどのように動作するか？
• RQ3 分岐要因と前方探索深さが、RTMMのRTSゲーム内での有効性に与える影響は何か？
• RQ4 RTMMは低複雑性のシナリオでは強力な戦術的性能を発揮するが、高複雑性の環境では戦略的AIに対してどの程度の成績を示すか？
• RQ5 RTMMは、分岐要因が大きな本格的なRTSゲームにおいて、UCTのようなサンプリングベースの手法と組み合わせることで、大規模な分岐要因に対処できる基盤として機能できるか？

主な発見

• μRTS-Melee（4v4ユニット戦闘）シナリオでは、RTMMベースのボットが確率的AIに対して20試合中18勝、ラッシュAIに対して20試合中15勝をあげ、強力な戦術的性能を示した。
• フルμRTS-Fullシナリオでは、RTMMは確率的AIに勝利（22勝、0引き分け、58敗）を記録したが、ラッシュAIには全敗し、長期的な戦略的計画の欠如が顕在化した。
• フルゲームシナリオにおける分岐要因は数万にまで膨張し、最大前方探索時間4.9秒の状態でも、RTMMの有効性が著しく制限された。
• RRTMM（ランダム化α-β pruningの変種）は、ミーリー戦で標準RTMMを上回る成績を示し、同時行動環境では確率的pruningが耐性を高めることを示唆した。
• RTMMは分岐要因が管理可能な状況では短期的な戦術的意思決定に優れるが、分岐要因が大きいと戦略的深さに欠ける。特に、本格的なゲームでは単純なラッシュ戦略に対抗できない。
• 結果から、RTMM単体では複雑なRTSゲームには不十分であり、分岐要因の大きな問題に対処するには、UCTのようなサンプリングベースの手法が不可欠であることが示された。