[論文レビュー] Value Functions for Depth-Limited Solving in Imperfect-Information Games beyond Poker

Dominik Seitz, Vojtěch Kovařík+4 more|arXiv (Cornell University)|May 31, 2019

Artificial Intelligence in Games被引用数 7

ひとこと要約

本稿では、一般の完全情報でない展開形式ゲームにおける理論的に整合性のある深さ制限付き解法を可能にする、ドメインおよびアルゴリズムに依存しない価値関数の定義を提案する。この価値関数の近似にニューラルネットワークが有効に機能することを示し、価値推定の精度が向上することで均衡解法アルゴリズムにおける戦略の質が向上することを示している。

ABSTRACT

Depth-limited look-ahead search is an essential tool for agents playing perfect-information games. In imperfect information games, the lack of a clear definition of a value of a state makes designing theoretically sound depth-limited solving algorithms substantially more difficult. Furthermore, most results in this direction only consider the domain of poker. We propose a domain and algorithm independent definition of a value function in general extensive-form games, formally analyze its uniqueness, structure, and compact representations. In an empirical study, we show that neural networks can be easily trained to approximate value functions in three substantially different domains. Furthermore, we analyze the influence of the precision of the value function on the quality of the strategies produced by the depth-limited equilibrium solving algorithm using it.

研究の動機と目的

• 特にポーカー以外の文脈において、完全情報でないゲームにおける理論的に整合性のある価値関数定義の欠如に取り組む。
• 深さ制限付き解法を可能にする、一般化され、ドメインに依存しない展開形式ゲーム用の価値関数を構築する。
• 提案された価値関数の一意性、構造的性質、およびコンact表現の可能性を調査する。
• 複数のドメインにわたり、ニューラルネットワークによる価値関数近似の実用可能性を経験的に検証する。
• 価値関数の近似精度が、深さ制限付き均衡解法アルゴリズムによって生成される戦略の質に与える影響を分析する。

提案手法

• すべての展開形式ゲームに適用可能で、ドメインやアルゴリズムに依存しない、形式的かつ一般化された価値関数の定義を提示する。
• 価値関数の一意性および構造的性質について理論的分析を行い、それが適切に定義される条件を検討する。
• 計算および学習の効率性を高めるために、価値関数のコンact表現の可能性を検討する。
• 3つの異なるドメインにおけるゲームシミュレーションから得たデータを用いて、ニューラルネットワークによる価値関数の近似を訓練する。
• 学習された価値関数を深さ制限付き均衡解法フレームワークに統合し、戦略を生成する。
• 制御されたアブレーションスタディを通じて、価値関数近似の正確性がもたらす戦略品質への影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 完全情報でない状況下の展開形式ゲームにおいて、一般化され、ドメインに依存しない価値関数を形式的に定義できるか？
• RQ2 提案された価値関数の構造的性質および一意性は、深さ制限付き解法への応用をどのように支援するか？
• RQ3 ニューラルネットワークは、多様なゲームドメインにわたり、提案された価値関数をどの程度正確に近似できるか？
• RQ4 価値関数近似の精度が、深さ制限付き均衡解法によって生成される戦略の質にどのように影響するか？
• RQ5 提案された価値関数フレームワークは、ポーカーのドメインを越えて有効かつスケーラブルであるか？

主な発見

• 提案された価値関数は、一般の条件下で展開形式ゲームにおいて形式的に定義され、一意に決定される。
• 価値関数は、計算および学習の効率性を支えるコンact表現を備えている。
• 3つの異なるドメインにわたり、ニューラルネットワークが価値関数を成功裏に近似できることを示し、一般化の可能性を裏付けた。
• 高精度な価値関数近似は、深さ制限付き解法によって生成される戦略の不親切性と強さに顕著な改善をもたらす。
• このフレームワークにより、ポーカーを越えた完全情報でないゲームにおける有効な深さ制限付き解法が可能となり、ドメイン独立性が裏付けられた。
• 経験的結果から、深さ制限付き均衡ソルバーの性能において、価値関数近似の質が極めて重要な要因であることが確認された。