[論文レビュー] Monte Carlo *-Minimax Search

Marc Lanctot, Abdallah Saffidine+3 more|Research Publications (Maastricht University)|Apr 22, 2013

Artificial Intelligence in Games参考文献 27被引用数 13

ひとこと要約

本稿では、MDP計画におけるスパースサンプリングと、確率的で2人ゼロサムの完全情報ゲームにおける古典的プルーニング技術を組み合わせた、新たなアルゴリズムであるモンテカルロ *-ミニマックス探索（mcms）を提案する。mcmsは、伝統的な *-ミニマックス手法を上回り、特にRa や Can't Stop のような高密度な確率的ゲームにおいて、強化されたMCTSの変種と同等の性能を達成する。

ABSTRACT

This paper introduces Monte Carlo *-Minimax Search (MCMS), a Monte Carlo search algorithm for turned-based, stochastic, two-player, zero-sum games of perfect information. The algorithm is designed for the class of of densely stochastic games; that is, games where one would rarely expect to sample the same successor state multiple times at any particular chance node. Our approach combines sparse sampling techniques from MDP planning with classic pruning techniques developed for adversarial expectimax planning. We compare and contrast our algorithm to the traditional *-Minimax approaches, as well as MCTS enhanced with the Double Progressive Widening, on four games: Pig, EinStein Würfelt Nicht!, Can't Stop, and Ra. Our results show that MCMS can be competitive with enhanced MCTS variants in some domains, while consistently outperforming the equivalent classic approaches given the same amount of thinking time.

研究の動機と目的

• 大規模で高密度な確率的、2人ゼロサム、完全情報ゲームにおける、効率的なオンライン計画の課題に取り組む。
• 確率的ノードにおける分岐数が高くなると指数的増加を示す古典的 *-ミニマックスのスケーリング問題を克服する。
• 時間制約下での意思決定品質を向上させるために、モンテカルロサンプリングと敵対的プルーニング技術を統合する。
• サンプリングされた *-ミニマックスが、最先端のMCTS変種と同等か、それを上回る性能を示すかどうかを評価する。
• サンプリングによる探索と完全な先行探索の間のバイアス、分散、後悔のトレードオフを調査する。

提案手法

• MDP計画からのスパースサンプリングを確率的ゲームツリーに適応し、すべての確率的ノードの結果ではなく、一部の結果のみをサンプリングする。
• 古典的 *-ミニマックスプルーニング（例：アルファ・ベータスタイルの境界）を適用して探索空間を削減しながら、健全性を維持する。
• モンテカルロサンプリングを用いて確率的ノードにおける期待値を推定し、サンプルサイズが増加するにつれて最適な意思決定に収束する。
• 公平な比較のため、MCTSベースラインではダブルプログレッシブワイドニング（DPW）を実装するが、mcmsではノードごとに固定幅のサンプリングを採用する。
• 行動を交互に最大値と最小値として扱う再帰的価値関数を用い、サンプルされた子ノードの期待値を計算する。
• 意思決定の品質を評価するための後悔指標を導入し、最適値とアルゴリズムが返す実際の値の差分として計算する。

実験結果

リサーチクエスチョン

• RQ1 同じ時間予算のもとで、* -ミニマックスにおけるスパースサンプリングは、完全先行探索の古典的 *-ミニマックスと比較してバイアスと後悔を低減できるか？
• RQ2 *-ミニマックスにおけるモンテカルロサンプリングと敵対的プルーニングの統合は、確率的ゲームにおいて強化されたMCTS変種と同等の性能を達成できるか？
• RQ3 異なるサンプリング戦略（例：exp_ss, star1_ss, star2_ss）は、バイアス、分散、および最終的なゲームプレイ強度の観点でどのように比較できるか？
• RQ4 どの種類の確率的ゲーム（例：高密度な確率的ゲーム）において、mcmsは古典的 *-ミニマックスおよびMCTSに対して最大の利点を示すか？
• RQ5 古典的プルーニングヒューリスティクス（例：ヌルムーブ、マルチカット）の統合により、それらが有効なドメインにおいてmcmsの性能はさらに向上するか？

主な発見

• mcmsは、同じ時間予算のもとで、Pig、EinStein Würfelt Nicht!、Can’t Stop、Ra の4つのゲームすべてにおいて、古典的 *-ミニマックスアルゴリズムを一貫して上回った。
• Can’t Stop において、mcmsの変種 star2_ss は、古典的 *-ミニマックスの Star2 に対して 85.0% の勝率を記録し、顕著な性能向上を示した。
• Ra においては、mcmsは古典的 *-ミニマックスの対応する手法に対して約60%の勝率を達成し、それらを上回り、一部のケースではMCTSをも上回った。
• mcmsの変種は、特にPigにおいて、古典的 *-ミニマックスと比較してバイアスが低く、後悔も低かった。これは、バイアスが減少したにもかかわらず分散が増加したが、依然として優れた性能を示した。
• Pig および EinStein Würfelt Nicht! において、mcmsは最良のMCTS変種と同等の性能を示したが、EWN における性能は、劣化した評価関数の品質によって制限された。
• mcmsの変種（例：exp_ss と star1_ss）の相対的な性能はゲームによって異なり、これは、プルーニングのオーバーヘッドが低プルーニング環境では利得を減少させる可能性を示しており、ドメイン固有のヒューリスティクスの導入によりさらなる改善が期待できる。