[論文レビュー] Regret Minimization in Non-Zero-Sum Games with Applications to Building Champion Multiplayer Computer Poker Agents

Richard G. Gibson|arXiv (Cornell University)|Apr 30, 2013

Artificial Intelligence in Games参考文献 24被引用数 8

ひとこと要約

この論文は非ゼロ和ゲームにおけるレグレット最小化の理論的基盤を確立し、反訳的レグレット最小化（CFR）が段階的厳密に支配される戦略を段階的に排除することを証明している。また、平均戦略プロファイルではなく現在の戦略プロファイルのみを用いる修正版CFRを提案し、メモリ使用量を半減、計算時間を75%削減しながら性能を維持する。これにより、より洗練された抽象化を用いた強力なマルチプレーヤー・ポーカーAIの実現が可能になった。

ABSTRACT

In two-player zero-sum games, if both players minimize their average external regret, then the average of the strategy profiles converges to a Nash equilibrium. For n-player general-sum games, however, theoretical guarantees for regret minimization are less understood. Nonetheless, Counterfactual Regret Minimization (CFR), a popular regret minimization algorithm for extensive-form games, has generated winning three-player Texas Hold'em agents in the Annual Computer Poker Competition (ACPC). In this paper, we provide the first set of theoretical properties for regret minimization algorithms in non-zero-sum games by proving that solutions eliminate iterative strict domination. We formally define \emph{dominated actions} in extensive-form games, show that CFR avoids iteratively strictly dominated actions and strategies, and demonstrate that removing iteratively dominated actions is enough to win a mock tournament in a small poker game. In addition, for two-player non-zero-sum games, we bound the worst case performance and show that in practice, regret minimization can yield strategies very close to equilibrium. Our theoretical advancements lead us to a new modification of CFR for games with more than two players that is more efficient and may be used to generate stronger strategies than previously possible. Furthermore, we present a new three-player Texas Hold'em poker agent that was built using CFR and a novel game decomposition method. Our new agent wins the three-player events of the 2012 ACPC and defeats the winning three-player programs from previous competitions while requiring less resources to generate than the 2011 winner. Finally, we show that our CFR modification computes a strategy of equal quality to our new agent in a quarter of the time of standard CFR using half the memory.

研究の動機と目的

• 非ゼロ和ゲームにおけるレグレット最小化の理論的保証を提供すること。これまでの研究では、このような基盤が欠けていた。
• 広範な形式ゲームにおける段階的厳密に支配される行動および戦略を形式的に定義・分析すること。
• マルチプレーヤー用に最適化された、性能を損なわずに効率性を向上させる修正版CFRアルゴリズムを開発すること。
• 改善されたアルゴリズムを応用し、リソース要件を低減したチャンピオンクラスの三人称Texas Hold’emポーカーAIを構築すること。
• 段階的支配される行動の削除が、小さなポーカー・ゲームで勝利するために十分であることを示すこと。理論的枠組みの妥当性を検証するため。

提案手法

• 論文は、広範な形式ゲームにおける段階的厳密に支配される行動を形式的に定義し、標準的条件下でCFRがそのような行動を回避することを証明している。
• 正規形式ゲームにおいて、レグレット最小化が段階的厳密に支配される戦略を排除することを確立している。
• 二人非ゼロ和ゲームにおいて、平均戦略プロファイルの最悪ケース性能を境界づけ、実際には均衡に近い性能を示すことを示している。
• 平均戦略プロファイルを廃止し、現在のプロファイルのみを用いる新しいCFRの変種を提案。これにより、メモリ使用量を半分、速度を75%削減できる。
• ゲームの分解を統合し、戦略的意義に基づいて抽象化の品質を変化させることで、大規模ゲームにおける効率性を向上させている。
• 本手法は、修正版CFRを用いて構築された新しい三人称Texas Hold’emエージェントを用いて検証されており、Annual Computer Poker Competitionでテストされた。

実験結果

リサーチクエスチョン

• RQ1 非ゼロ和ゲームにおけるレグレット最小化アルゴリズムは、段階的厳密に支配される戦略の排除を通じて理論的に正当化可能か？
• RQ2 広範な形式ゲームにおいて、CFRは段階的厳密に支配される戦略を回避するか、学習しないか？
• RQ3 平均化ではなく現在のプロファイルのみを用いる修正版CFRは、メモリと時間の削減を伴いながら、同等またはより優れた性能を達成可能か？
• RQ4 段階的支配される行動の削除は、小さなポーカー・ゲームで強い戦略を生成するために十分か？
• RQ5 修正版CFRにより、メモリ使用量の削減のおかげで、より洗練された抽象化を用いた強力なマルチプレーヤー・ポーカーAIを実現可能か？

主な発見

• この論文は、正規形式ゲームにおけるレグレット最小化が段階的厳密に支配される戦略を排除することを証明し、一般和ゲームへの応用における理論的根拠を提供している。
• 標準的条件下で、CFRが広範な形式ゲームにおいて段階的厳密に支配される行動および戦略を回避することを示しており、その頑健性が裏付けられている。
• 二人非ゼロ和ゲームにおいて、レグレット最小化による平均戦略プロファイルは、均衡からの距離が境界内に収まり、実証結果でも均衡に近く性能を示している。
• 現在のプロファイルのみを用いる修正版CFRアルゴリズムは、標準CFRの4分の1の時間で戦略を計算し、メモリ使用量も半分で、同等の戦略品質を達成している。
• 修正版CFRとゲーム分解を用いて構築された新しい三人称Texas Hold’emエージェントは、2012年のACPC三人称イベントで優勝し、前回優勝者よりも低いリソース使用量で上回った。
• 小さなポーカー・ゲームで模擬大会を実施した結果、段階的支配される行動の削除が勝利に十分であることが示され、理論的結果の実用的影響が裏付けられた。