[論文レビュー] Solving Large Sequential Games with the Excessive Gap Technique

Christian Kroer, Gabriele Farina+1 more|arXiv (Cornell University)|Oct 7, 2018

Artificial Intelligence in Games被引用数 17

ひとこと要約

本稿では、拡張形式ゲームにおける戦略空間をモデル化するための拡張ギャップ技法（EGT）の実用的でGPUアクセラレートされた変種を、拡張エントロピー距離関数を用いて提示する。この手法は、実世界のノーリミット・テキサスホールデムのエンドゲームにおいて、反証的後悔最小化（CFR）の変種と同等の性能を示し、CFR+の解の質の2倍以内の精度を達成している。また、理論的に優れた1/T収束率を維持している。

ABSTRACT

There has been tremendous recent progress on equilibrium-finding algorithms for zero-sum imperfect-information extensive-form games, but there has been a puzzling gap between theory and practice. First-order methods have significantly better theoretical convergence rates than any counterfactual-regret minimization (CFR) variant. Despite this, CFR variants have been favored in practice. Experiments with first-order methods have only been conducted on small- and medium-sized games because those methods are complicated to implement in this setting, and because CFR variants have been enhanced extensively for over a decade they perform well in practice. In this paper we show that a particular first-order method, a state-of-the-art variant of the excessive gap technique---instantiated with the dilated entropy distance function---can efficiently solve large real-world problems competitively with CFR and its variants. We show this on large endgames encountered by the Libratus poker AI, which recently beat top human poker specialist professionals at no-limit Texas hold'em. We show experimental results on our variant of the excessive gap technique as well as a prior version. We introduce a numerically friendly implementation of the smoothed best response computation associated with first-order methods for extensive-form game solving. We present, to our knowledge, the first GPU implementation of a first-order method for extensive-form games. We present comparisons of several excessive gap technique and CFR variants.

研究の動機と目的

• 一階法（FOMs）の理論的収束優位性と、大規模な逐次ゲームにおける実用的未利用のギャップを埋めること。
• FOMs、特に過剰ギャップ技法（EGT）の一種が、LibratusポーカーAIから得られる実世界の大規模エンドゲームを効率的に解くことができることを示すこと。
• EGFにおける重要なサブルーチン（滑らか化最適反応と近接写像）の数値的安定性と効率性を高める実装を開発すること。
• GPU並列処理と積極的なステップサイズチューニングにより、FOMsの実用的導入を可能にすること。
• 実世界の細分化されたノーリミット・テキサスホールデムの抽象化において、FOMsとCFRの変種を比較し、実用的に競争力を持つことが示されること。

提案手法

• 本稿では、広範な形式ゲームにおける戦略空間をモデル化するために、最新のEGTの変種と、拡張エントロピー距離生成関数（DGF）を用いる。
• EGFにおけるEGTのコアコンponentsである滑らか化最適反応（SBR）を計算する、数値的安定性と効率性に優れたアルゴリズムを導入する。
• 戦略木における数値的安定性とパフォーマンスを最適化した近接写像計算を含む。
• 戦略木のルートにおけるデカルト積演算を活用して、GPU実装を設計し、戦略更新の並列計算を可能にする。
• 収束を加速するために、積極的なステップサイズ選択と動的μバランス調整を用いる。
• 本手法は、本番環境で使用された正確な細分化ベッティング抽象化を用いて、LibratusポーカーAIのエンドゲームで評価されている。

実験結果

リサーチクエスチョン

• RQ1 EGTのような一階法が、大規模で実世界の逐次ゲームにおいて、CFRの変種を実用的に上回ることができるか？
• RQ2 高度なDGFと最適化技術を用いることで、EGTが大規模EGFにおいて十分に数値的安定性と効率性を備えることができるか？
• RQ3 GPUアクセラレーションが、広範な形式ゲームの解法におけるEGTのパフォーマンスを顕著に向上させるか？
• RQ4 反復回数ではなく勾配計算回数を基準にした場合、EGTの収束率はCFR+と比べてどうか？
• RQ5 EGTが理論的な1/T収束率を維持しつつ、CFR+と同等の実用的効率を達成できるか？

主な発見

• 提案されたEGTの変種は、実世界のLibratusエンドゲームにおいて、CFR+の解の質の2倍以内の精度を達成しており、実用的な競争力が強く示された。
• 同じテストゲームにおいて、EGTはレジレットマッチング（RM）およびRM+よりも収束速度と最終的な解の質で優れている。
• 1回の反復あたりより多くの勾配計算を実行しているにもかかわらず、EGTは1/T収束率を維持している。一方、CFR+は最適化の後半にかけて収束が鈍り始める。
• 総勾配計算回数を基準に測定した場合、EGT/asおよびEGTはCFR+よりわずかに劣るが、理論的収束保証を考慮すると依然として高い効率性を示している。
• GPU実装により、戦略更新の並列計算が可能となり、大規模な戦略木においてアルゴリズムの高速化が顕著に達成された。
• 著者らは、さらなるパrameterチューニングとアルゴリズムの改善により、将来的にはEGTがCFR+を上回る可能性があると観察している。