[論文レビュー] Smoothing Method for Approximate Extensive-Form Perfect Equilibrium

Christian Kroer, Gabriele Farina+1 more|arXiv (Cornell University)|May 25, 2017

Artificial Intelligence in Games参考文献 19被引用数 5

ひとこと要約

本稿では、大規模な2人ゼロ和の展開形ゲームにおける近似広範形式完全均衡（EFPE）を、1次順序法（FOMs）を用いて計算するためのスムージング手法を提案する。行動戦略への摂動を、修正されたエントロピーに基づくスムージング技術により適用することで、標準のナッシュ均衡ソルバーと同等の収束速度を達成するとともに、低確率の情報集合における後悔を顕著に低減し、非均衡路における性能を向上させる。

ABSTRACT

Nash equilibrium is a popular solution concept for solving imperfect-information games in practice. However, it has a major drawback: it does not preclude suboptimal play in branches of the game tree that are not reached in equilibrium. Equilibrium refinements can mend this issue, but have experienced little practical adoption. This is largely due to a lack of scalable algorithms. Sparse iterative methods, in particular first-order methods, are known to be among the most effective algorithms for computing Nash equilibria in large-scale two-player zero-sum extensive-form games. In this paper, we provide, to our knowledge, the first extension of these methods to equilibrium refinements. We develop a smoothing approach for behavioral perturbations of the convex polytope that encompasses the strategy spaces of players in an extensive-form game. This enables one to compute an approximate variant of extensive-form perfect equilibria. Experiments show that our smoothing approach leads to solutions with dramatically stronger strategies at information sets that are reached with low probability in approximate Nash equilibria, while retaining the overall convergence rate associated with fast algorithms for Nash equilibrium. This has benefits both in approximate equilibrium finding (such approximation is necessary in practice in large games) where some probabilities are low while possibly heading toward zero in the limit, and exact equilibrium computation where the low probabilities are actually zero.

研究の動機と目的

• 展開形ゲームにおけるナッシュ均衡の限界、すなわち戦略がゲームツリーの到達しない部分で性能を発揮できないことに対処すること。
• 従来はナッシュ均衡にのみ適用可能であったスケーラブルな1次順序法（FOMs）を、広範形式完全均衡（EFPE）などの均衡の精密化を計算するために拡張すること。
• 大規模ゲームにおいて近似EFPEを効率的に計算可能にするとともに、標準FOMsと同等の収束速度を維持できるスムージング技術を開発すること。
• 実験的に、本手法が全体の収束速度を損なうことなく、低確率の情報集合における最大後悔を低減することを検証すること。

提案手法

• すべての行動が少なくとも確率ξで実行されるように保証するため、パラメータξを用いた行動戦略空間への摂動を導入し、ゼロ確率の問題を回避する。
• 変形されたエントロピー関数に基づくスムージングフレームワークを、摂動された行動戦略の多面体に適応させ、微分可能な最適化を可能にする。
• 滑らかで摂動されたゲームに対して1次順序法（例：EGT）を適用し、標準FOMsと同等の線形時間の反復コストと収束速度を維持する。
• 収束速度と精密化の質のバランスを取るために、ξを動的に調整可能な動的スムージング技術を採用する。
• 各情報集合が確率1で到達すると仮定してベイズの定理を用いて情報集合の後悔を計算し、精密化の質の評価を可能にする。
• 既存のEFG用DGF（双対勾配フロー）構成を、ξ > 0 の摂動戦略空間に対応可能に拡張する。

実験結果

リサーチクエスチョン

• RQ1 1次順序法を大規模ゲームにおける近似広範形式完全均衡の計算に効果的に拡張できるか？
• RQ2 行動戦略への摂動（ξを用いて）が、展開形ゲームにおける1次順序法の収束速度にどのように影響するか？
• RQ3 提案手法は、標準のナッシュ均衡ソルバーと比較して、低確率の情報集合における最大後悔をどの程度低減できるか？
• RQ4 実際の応用において、精密化の質と収束速度のバランスを取る最適なξの範囲は何か？
• RQ5 本手法は、最先端のナッシュ均衡ソルバーと同等の性能で近似EFPEを計算可能であり、非均衡領域におけるロバストネスを向上させられるか？

主な発見

• 提案手法は、標準の1次順序法と同等の収束速度を達成しており、実用的性能に顕著な損失は認められない。
• ξ ∈ [0.005, 0.01] の範囲では、CFR+ や摂動なしのEGTと比較して、低確率の情報集合における最大後悔が著しく低減される。
• 低確率で到達する情報集合では、標準的手法と比較して最大後悔が最大2桁低減される。
• 摂動パラメータξは極めて重要な影響を持つ：ξ = 0.1 や 0.05 では過剰な強制的行動が原因で後悔が高くなるが、ξ = 0.001 では収束が遅すぎる。
• 本手法により、全体の収束速度を劣化させることなく、低確率領域でも優れた性能が達成可能であり、大規模ゲームにおける近似均衡計算に適している。
• 正確な計算が不可能な大規模ゲームにおいて、精密化均衡の計算への実用的道筋を提供する。