[論文レビュー] Monte Carlo Continual Resolving for Online Strategy Computation in Imperfect Information Games

Michal Šustr, Vojtěch Kovařík+1 more|arXiv (Cornell University)|Dec 18, 2018

Artificial Intelligence in Games参考文献 29被引用数 5

ひとこと要約

本稿では、不完全情報を伴う2人零和の広範形式ゲーム（EFG）に対して、ドメインに依存しないオンライン戦略計算手法であるモンテカルロ継続的解消（MCCR）を紹介する。MCCRは、MCCFR（モンテカルロ反事後レジリエンス最小化）を解消器として用いることで、ポーカーを超えた継続的解消の一般化を実現し、$O(T^{-1/2})$の不正利用度の減少を達成。OOSやIS-MCTSと比較して、特定のドメインで優れた性能を示し、OOSのメモリ増大を回避するとともに、理論的保証を有する。

ABSTRACT

Online game playing algorithms produce high-quality strategies with a fraction of memory and computation required by their offline alternatives. Continual Resolving (CR) is a recent theoretically sound approach to online game playing that has been used to outperform human professionals in poker. However, parts of the algorithm were specific to poker, which enjoys many properties not shared by other imperfect information games. We present a domain-independent formulation of CR applicable to any two-player zero-sum extensive-form games that works with an abstract resolving algorithm. We further describe and implement its Monte Carlo variant (MCCR) which uses Monte Carlo Counterfactual Regret Minimization (MCCFR) as a resolver. We prove the correctness of CR and show an $O(T^{-1/2})$-dependence of MCCR's exploitability on the computation time. Furthermore, we present an empirical comparison of MCCR with incremental tree building to Online Outcome Sampling and Information-set MCTS on several domains.

研究の動機と目的

• ポーカーから拡張して、任意の2人零和の広範形式ゲーム（EFG）における不完全情報ゲームに継続的解消を一般化すること。
• オフラインソルバーのメモリおよび計算負荷を回避する、ドメインに依存しないオンライン戦略計算フレームワークの開発。
• OOS などの既存オンラインアルゴリズムの限界、特にゲーム開始からのサンプリングによる増大するメモリ使用量と高い分散を是正すること。
• 理論的に整合性があり、スケーラブルなオンラインアルゴリズムの構築。MCCFR を含むさまざまなソルバーでインスタンス化可能であることを目的とする。
• MCCR の性能を、多様な不完全情報ゲームドメインにおいて OOS、IS-MCTS、MCCFR と比較して実験的に評価すること。

提案手法

• 任意の2人零和の広範形式ゲーム（EFG）に適用可能な一般化された継続的解消（CR）フレームワークの提唱。複雑なパブリックステート構造や、各状態で複数の行動を取るプレイヤーに対しても対応可能。
• MCCR（モンテカルロ継続的解消）を、内部解消器としてモンテカルロ反事後レジリエンス最小化（MCCFR）を用いた、CR の具体的なインスタンス化。
• 関連する情報集合の反事後価値推定を動的に維持・更新する解消ガジェットの定義。これにより、段階的戦略計算が可能となる。
• 解消器を、古典的 CFR やニューラルネットワークベースの深さ制限付き探索、またはドメイン固有のヒューリスティクスなど、任意の EFG ソルバーに置き換え可能。
• 重要度サンプリングと反事後価値推定を用いて、不正利用度の理論的保証を維持しながら、オンライン計算を可能にする。
• 2つのバージョンを実装：MCCR（リセット）と MCCR（保持）。ゲーム状態間で過去の反事後価値推定を保持するかどうかが異なる。

実験結果

リサーチクエスチョン

• RQ1 継続的解消は、ポーカーを越えて、任意の2人零和の広範形式ゲーム（EFG）における不完全情報ゲームに一般化可能か？
• RQ2 MCCR は理論的に整合性を保ち、オンライン戦略計算において非線形の不正利用度の減少を達成するか？
• RQ3 MCCR の性能は、多様なゲームドメインにおいて、不正利用度とヘッド・トゥ・ヘッドの勝率の観点で OOS や IS-MCTS と比較してどうなるか？
• RQ4 MCCR の性能は、反事後価値推定の品質にどれほど感応するか？
• RQ5 MCCR が OOS や IS-MCTS より顕著に優れるゲームクラスは存在するか？

主な発見

• MCCR は、計算時間 $T$ に対して不正利用度が $O(T^{-1/2})$ の依存関係を達成し、理論的整合性を裏付けた。
• PTTT ドメインでは、MCCR（保持）が MCCFR に対して 17.7% の勝率を記録。OOS-PST（−5.6%）や OOS-IST（−3.5%）を上回った。
• GP-4644 ドメインでは、MCCR（保持）が OOS-PST に対して 14.2%、OOS-IST に対して 14.2% の勝率を記録。一方、OOS-PST と OOS-IST は MCCR（保持）に対してそれぞれ 8.1% と 8.9% の敗北を記録した。
• 反事後価値推定が悪かった場合、MCCR の不正利用度の収束は OOS より遅く、ヘッド・トゥ・ヘッドの成績も OOS や IS-MCTS より劣った。
• GP-4644 ドメインでは MCCR（保持）が MCCFR よりも優れており（14.2% 対 −8.7%）、PTTT ドメインでも（17.7% 対 0.1%）より優れた戦略品質を示した。これは、より良い推定による戦略の向上を示している。
• MCCR は事前計算された評価関数を必要とせず、OOS のメモリ増大を回避するため、長時間にわたるゲームにおいて OOS よりもスケーラブルである。