[論文レビュー] Convergence of Monte Carlo Tree Search in Simultaneous Move Games

Viliam Lisý, Vojta Kovarik+2 more|arXiv (Cornell University)|Oct 31, 2013

Artificial Intelligence in Games参考文献 20被引用数 14

ひとこと要約

本稿は、完全情報かつ同時手番のゼロサム広範図ゲームにおけるモンテカルロ木探索（MCTS）の形式的収束証明を提示する。ε-Hannan整合性のある選択手法（例えば、後悔マッチングやExp3）を用いることで、MCTSが近似ナッシュ均衡に収束することを示し、このクラスのゲームにおけるMCTSに対する最初の理論的保証を提供する。

ABSTRACT

We study Monte Carlo tree search (MCTS) in zero-sum extensive-form games with perfect information and simultaneous moves. We present a general template of MCTS algorithms for these games, which can be instantiated by various selection methods. We formally prove that if a selection method is $ε$-Hannan consistent in a matrix game and satisfies additional requirements on exploration, then the MCTS algorithm eventually converges to an approximate Nash equilibrium (NE) of the extensive-form game. We empirically evaluate this claim using regret matching and Exp3 as the selection methods on randomly generated games and empirically selected worst case games. We confirm the formal result and show that additional MCTS variants also converge to approximate NE on the evaluated games.

研究の動機と目的

• 完全情報かつ同時手番を伴うゼロサム広範図ゲームにおけるMCTSの形式的収束保証を確立すること。
• 近似ナッシュ均衡への収束を保証する選択戦略の十分条件を同定すること。
• 後悔マッチングおよびExp3を選択手法として用い、ランダムに生成されたゲームおよび最悪ケースのゲームで理論的主張を実証的に検証すること。
• 本証明で明示的にカバーされていない他のMCTS変種へ理論枠組みを拡張する可能性を検討すること。

提案手法

• 同時手番ゲーム向けの一般的なMCTSテンプレートを提案し、選択段階を行列ゲームにおける後悔最小化手順で制御する。
• 選択関数の主要要件としてε-Hannan整合性を用い、すべての行動が無限回試行されることを保証する。
• 各状態を連携行動によって後続状態へ移行する行列ゲームとみなして、後退帰納法の原則を部分ゲームに適用する。
• MCTSテンプレートの具体化と収束評価のために、後悔マッチングおよびExp3を具体的な選択手法として採用する。
• 収束速度への影響を評価するために、現在のサンプル値を伝搬する（RM）と平均値を伝搬する（RMM）の2つの変種を導入する。
• ナッシュ均衡からの距離を測る指標として、背理可能性（exploitability）を用い、値が低いほど収束が良いことを示す。

実験結果

リサーチクエスチョン

• RQ1 どの条件下でMCTSは、同時手番・完全情報ゲームにおいて近似ナッシュ均衡に収束するか？
• RQ2 ε-Hannan整合性のある選択手法は、この設定でε-ナッシュ均衡への収束を保証できるか？
• RQ3 後悔マッチングおよびExp3に基づくMCTS変種の収束速度は、実験的にどのように比較されるか？
• RQ4 形式的条件を満たさないMCTSアルゴリズムでさえ、実際には近似ナッシュ均衡に収束する可能性はあるか？
• RQ5 理論枠組みは、本証明でカバーされていない他のMCTS変種やより一般的なゲームクラスへ拡張可能か？

主な発見

• ε-Hannan整合性のある選択手法を用いたMCTSアルゴリズムは、完全情報かつ同時手番を伴うゼロサム広範図ゲームにおいて、部分ゲーム完全なε-ナッシュ均衡に形式的に収束することが保証される。
• 実験的結果は、後悔マッチング（RM）およびExp3変種の両方が近似ナッシュ均衡に収束することを確認しており、反復回数を増やすに従い背理可能性が減少する。
• RMM変種（平均値伝搬）は、RM変種（現在のサンプル値伝搬）よりもわずかに収束が遅く、特に深さの大きいゲームで顕著に現れる。
• 特定された最悪ケースのゲームでは、100万回の反復後、RMとRMMはそれぞれ背理可能性0.0119および0.0367を達成しており、γ=0.05の均一探索における理論的下限と一致する。
• Exp3変種は類似した収束速度を示したが、最悪ケースのシナリオでは100万回の反復内に完全に収束しなかった。
• 結果から、形式的証明のカバー外にある多くのMCTS変種が依然としてε-ナッシュ均衡に収束する可能性があることが示唆され、理論的拡張の余地が示唆される。