[論文レビュー] A Bayesian Model for Plan Recognition in RTS Games applied to StarCraft

Gabriel Synnaeve, Pierre Bessìère|arXiv (Cornell University)|Nov 16, 2011

Artificial Intelligence in Games参考文献 21被引用数 24

ひとこと要約

本論文は、StarCraftにおける計画認識のためのベイジアンモデルを提示する。このモデルは、不完全でノイズの多い観測から、リプレイデータを用いた教師なし学習によって相手のビルドツリーを予測する。モデルは高い精度を達成しており、最大4つの建物先まで距離1未塔で予測可能であり、30％のノイズ下でも頑健性を保つ。これにより、リアルタイムストラテジー・ゲームにおける適応的AIの実現が可能となる。

ABSTRACT

The task of keyhole (unobtrusive) plan recognition is central to adaptive game AI. "Tech trees" or "build trees" are the core of real-time strategy (RTS) game strategic (long term) planning. This paper presents a generic and simple Bayesian model for RTS build tree prediction from noisy observations, which parameters are learned from replays (game logs). This unsupervised machine learning approach involves minimal work for the game developers as it leverage players' data (com- mon in RTS). We applied it to StarCraft1 and showed that it yields high quality and robust predictions, that can feed an adaptive AI.

研究の動機と目的

• リプレイデータのみを用いて、教師ありアノテーションなしで、リアルタイムストラテジー・ゲームにおける相手戦略を予測する、頑健で教師なしの手法の開発。
• 観測された相手の行動に基づいて、動的にビルドオーダーを調整できる適応的AIの実現。
• 戦闘のフェイク・オブスカリティ（見えない状態）下での、部分的でノイズの多い観測の処理。
• ゲーム開発者が手動で設定する戦略やチューニングへの依存を低減すること。
• 確率的推論を用いて、競技用AIプレイと知的コメントレーショナルシステムの両方を支援すること。

提案手法

• モデルはベイジアン・プログラミングを用いて、ビルドツリーの連合分布を表現し、リプレイから得た事前知識と学習されたパラメータを統合する。
• 条件付き確率を適用：P(ビルドツリー | 観測, 時刻, λ=1) により、不確実性下でのリアルタイム推論を可能にする。
• パラメータは、ラベルなしの戦略アノテーションを必要とせず、リプレイログからの教師なし機械学習によって学習される。
• モデルは、最も確率の高い（MAP）と周辺分布（平均）の両方のビルドツリー推定値を計算することで、頑健性を向上させる。
• 技術ツリーの構造を有向無閉路グラフ（DAG）として利用し、建物や技術の依存関係を符号化する。
• フレームワークは、ユニットやアップグレードの追加にも対応可能であり、最適なカウンターストラテジーを推論するための2人用モデリングにも利用可能である。

実験結果

リサーチクエスチョン

• RQ1 不完全でノイズの多い観測から、StarCraftにおける相手のビルドツリーをベイジアンモデルが正確に予測できるか？
• RQ2 例えば、欠落または誤ったスカウト情報などの観測にランダムなノイズが加わった場合、モデルの耐性はどの程度か？
• RQ3 3～4つの建物先まで、高い精度で将来のビルドステップを予測できる範囲はどの程度か？
• RQ4 モデルは、実戦中におけるAIの戦略をリアルタイムで動的に適応させることができるか？
• RQ5 計算効率と正確性の観点から、従来の手法と比較して、モデルの性能はどの程度か？

主な発見

• モデルは最大4つの建物先まで、ビルドツリー距離が1未満で予測可能であり、戦略認識の高精度を示している。
• 30％のランダムノイズ下でも、3つの建物先まで距離1未塔の予測力を維持しており、強い耐性を示している。
• 観測の80％が欠落している状況でも、高い正確性を維持しており、不完全なスカウトデータへの耐性が確認された。
• モデルの計算およびメモリ使用量が低いため、競技用AI環境におけるリアルタイム展開に適している。
• 観測された行動に基づいて継続的に信念を更新することで、AIボットにおける動的戦略適応が可能になる。
• モデルは2人用推論へ拡張可能であり、相手戦略に応じて最適なビルドオーダーを選択するAIの実現が可能になる。