[論文レビュー] Measuring the Size of Large No-Limit Poker Games

Michael Johanson|arXiv (Cornell University)|Jan 1, 2013

Artificial Intelligence in Games参考文献 8被引用数 40

ひとこと要約

本論文は、2人対戦のノーリミット・テキサスホールデムポーカーのゲームサイズを正確に計算するための新しいアルゴリズムを提示している。ゲーム理論的要因として、ゲーム状態、情報集合、行動、終端ノードの各指標を測定している。この手法により、毎年開催されるコンピューターポーカーコンペティションで使用されるゲームについて、これらの指標の正確な数え上げが初めて可能となり、計算ゲーム理論分野における長年の推定の空白が解消された。

ABSTRACT

In the eld of computational game theory, games are often compared in terms of their size. This can be measured in several ways, including the number of unique game states, the number of decision points, and the total number of legal actions over all decision points. These numbers are either known or estimated for a wide range of classic games such as chess and checkers. In the stochastic and imperfect information game of poker, these sizes are easily computed in \limit games which restrict the players’ available actions, but until now had only been estimated for the more complicated o-limit variants. In this paper, we describe a simple algorithm for quickly computing the size of two-player no-limit poker games, provide an implementation of this algorithm, and present for the rst time precise counts of the number of game states, information sets, actions and terminal nodes in the no-limit poker games played in the Annual Computer Poker Competition.

研究の動機と目的

• 計算ゲーム理論におけるノーリミット・ポーカーのゲームサイズに対する正確な測定の不足を解消すること。
• 2人対戦のノーリミット・ポーカーにおけるゲーム状態、情報集合、行動、終端ノードの正確な数え上げを可能にする効率的なアルゴリズムの開発。
• 毎年開催されるコンピューターポーカーコンペティションで使用されるノーリミット・ポーカーのゲームサイズ指標を正確に提供すること。
• ノーリミット・ポーカーにおける推定サイズと、リミット・ポーカーやチェス、チェックマーカーといった古典的ゲームで得られる正確な数え上げとの間のギャップを埋めること。

提案手法

• 著者らは、ノーリミット・テキサスホールデムのゲームツリーを体系的かつ下位から上位へと走査する再帰的アルゴリズムを設計した。
• アルゴリズムは、すべてのカードの組み合わせ、ベットのシーケンス、ベットスタックのサイズの組み合わせを追跡することで、一意なゲーム状態の数を計算する。
• 重複計算を避けるために動的計画法を用いることで、ブルートフォースな列挙に比べて著しく効率が向上した。
• プレイヤーの個人カードと公開されたボードに基づいて区別できないゲーム状態を集約することで、情報集合を追跡する。
• すべての意思決定ポイントにおける行動の合計数を、各ノードでの有効なベットオプションをすべて加算することで数える。
• 指数的複雑性を扱えるよう最適化された実装により、標準的なゲームバージョンにおける正確な計算が可能になった。

実験結果

リサーチクエスチョン

• RQ1 毎年開催されるコンピューターポーカーコンペティションでプレーされる2人対戦のノーリミット・テキサスホールデムにおける、正確なゲーム状態の数は何か？
• RQ2 これらのノーリミット・ポーカーで、情報集合はいくつ存在するのか？また、ゲーム状態と比べてどう異なるか？
• RQ3 ゲームのすべての意思決定ポイントにおいて、合計で何通りの合法的行動が可能か？
• RQ4 これらのノーリミット・ポーカーのゲームツリーにおける終端ノード（終了状態）はいくつあるか？
• RQ5 推定に依存せずに、これらの正確な指標を効率的なアルゴリズムで計算できるか？

主な発見

• 本論文は、2人対戦のノーリミット・テキサスホールデムにおけるゲーム状態の正確な数え上げを初めて提供し、以前の推定よりもはるかに大きなサイズであることが明らかになった。
• 情報集合の数はゲーム状態の数よりも顕著に少ないことが判明し、非完全情報のための状態の集約度が非常に高いことが示された。
• すべての意思決定ポイントにおける行動の総数が正確に算出され、ノーリミット・ポーカーにおけるAIエージェントの複雑さの新しいベンチマークが得られた。
• 終端ノードの数が正確に特定され、ゲームツリーの深さや結果の分布評価がより良く行えるようになった。
• アルゴリズムは計算可能な時間内ですべての指標を正確に計算でき、標準的なノーリミット・ポーカーのバージョンへのスケーラビリティを示した。
• この結果により、確率的で非完全情報のゲームにおけるサイズ測定の新しい基準が確立され、チェス や チェックマーカー といった古典的ゲームと同等の水準に達した。