[論文レビュー] Solving imperfect-information games via exponential counterfactual regret minimization

Huale Li, Xuan Wang+5 more|arXiv (Cornell University)|Aug 6, 2020

Advanced Bandit Algorithms Research参考文献 20被引用数 8

ひとこと要約

本稿では、不完全情報ゲームにおける収束速度の向上を図るために、レジーツ値に指数的重み付けを適用する新しいCFRベースの手法である指数的対向レジーツ最小化（ECFR）を提案する。この手法は、レジーツが大きい行動に高い優先度を与えることで、収束を加速する。ECFRは、Kuhnポーカー、Leducポーカー、Royalポーカーにおいて、最先端のCFR変種と比較してより速い収束と低い利用可能性を達成しており、理論的収束保証を有する。

ABSTRACT

In general, two-agent decision-making problems can be modeled as a two-player game, and a typical solution is to find a Nash equilibrium in such game. Counterfactual regret minimization (CFR) is a well-known method to find a Nash equilibrium strategy in a two-player zero-sum game with imperfect information. The CFR method adopts a regret matching algorithm iteratively to reduce regret values progressively, enabling the average strategy to approach a Nash equilibrium. Although CFR-based methods have achieved significant success in the field of imperfect information games, there is still scope for improvement in the efficiency of convergence. To address this challenge, we propose a novel CFR-based method named exponential counterfactual regret minimization (ECFR). With ECFR, an exponential weighting technique is used to reweight the instantaneous regret value during the process of iteration. A theoretical proof is provided to guarantees convergence of the ECFR algorithm. The result of an extensive set of experimental tests demostrate that the ECFR algorithm converges faster than the current state-of-the-art CFR-based methods.

研究の動機と目的

• vanilla Counterfactual Regret Minimization (CFR) が不完全情報ゲームで収束が遅いという問題に取り組む。
• 不完全情報を持つ2人ゼロサムゲームにおけるナッシュ均衡戦略の効率的同定を改善する。
• 収束保証を損なわずに収束を加速するCFR変種を開発する。
• 複数のゲームタイプにわたり、収束速度と利用可能性の面で本手法の優位性を実証的に検証する。

提案手法

• ECFRは、反復処理中に即時のレジーツ値に指数的重み付けを適用する技術を導入し、レジーツが大きい行動を強調する。
• 本手法は、平均レジーツ値をしきい値として用い、優位性の高い行動をフィルタリングおよび優先順位付けする。
• 従来の手法とは異なり、ECFRはゼロに設定するのではなく、負のレジーツ値を保持および重み付けする。
• アルゴリズムは、指数的重み付けを制御するパラメータβを適用し、アブレーションスタディにより最適設定を同定する。
• ECFRがナッシュ均衡に収束することを保証する理論的証明が提供されており、標準CFRと同一の理論的基盤を維持する。
• 本手法は、指数的レジーツ重み付けを標準CFRフレームワークに統合し、レジーツマッチング更新ルールを変更する。

実験結果

リサーチクエスチョン

• RQ1 指数的重み付けをレジーツ値に適用することで、収束保証を維持したまま不完全情報ゲームにおける収束速度を向上させることができるか？
• RQ2 βパラメータの選択がECFRアルゴリズムの収束速度および利用可能性に与える影響は何か？
• RQ3 ECFRは、多様な不完全情報ゲームにおいて、最先端のCFRベース手法と比較して収束速度および戦略品質の面で優れているか？
• RQ4 従来の手法と比較して、戦略更新プロセスに負のレジーツ値を含めることの影響は何か？

主な発見

• ECFRは、同じ反復回数においてKuhnポーカー、Leducポーカー、Royalポーカーにおいて、最先端のCFRベース手法よりも収束が速い。
• βの最適パラメータ設定は−r²であると判明し、KuhnポーカーおよびLeducポーカーの両方で他の設定を常に上回った。
• βの導入により性能が顕著に向上し、Kuhnポーカーでは100反復後、Leducポーカーでは750反復後にβありのECFRがβなしのECFRを上回った。
• アブレーションスタディにおいて、β = −0.0001およびβ = −r²は強力な性能を示し、KuhnおよびLeducゲームの両方でβ = −r²が最良の結果を達成した。
• ECFRは、すべてのテスト済みゲームで最小の利用可能性を達成し、優れた戦略品質とより速い収束を示した。
• 理論的分析により、ECFRがナッシュ均衡に収束することを確認し、強固で信頼性の高い性能を保証した。