[論文レビュー] Efficient Regret Minimization Algorithm for Extensive-Form Correlated Equilibrium

Gabriele Farina, Chun Kai Ling+2 more|arXiv (Cornell University)|Oct 28, 2019

Game Theory and Applications被引用数 5

ひとこと要約

本稿では、チャンス手がない大規模な2人零和でない一般和ゲームにおける広範な形式の相関均衡（EFCE）を計算するための、初めての効率的なレジット最小化アルゴリズムを提示する。スケーリング拡張と呼ばれる新しい構造的分解——凸性を保つ操作——を活用することで、アルゴリズムは段階的に相関計画ポリトープを構築し、非階層的かつ循環的な制約の下でも線形時間のレジット最小化を可能にし、大規模ゲームにおいて従来の線形計画法（LP）および勾配降下法に基づく手法を凌駆する。

ABSTRACT

Self-play methods based on regret minimization have become the state of the art for computing Nash equilibria in large two-players zero-sum extensive-form games. These methods fundamentally rely on the hierarchical structure of the players' sequential strategy spaces to construct a regret minimizer that recursively minimizes regret at each decision point in the game tree. In this paper, we introduce the first efficient regret minimization algorithm for computing extensive-form correlated equilibria in large two-player general-sum games with no chance moves. Designing such an algorithm is significantly more challenging than designing one for the Nash equilibrium counterpart, as the constraints that define the space of correlation plans lack the hierarchical structure and might even form cycles. We show that some of the constraints are redundant and can be excluded from consideration, and present an efficient algorithm that generates the space of extensive-form correlation plans incrementally from the remaining constraints. This structural decomposition is achieved via a special convexity-preserving operation that we coin scaled extension. We show that a regret minimizer can be designed for a scaled extension of any two convex sets, and that from the decomposition we then obtain a global regret minimizer. Our algorithm produces feasible iterates. Experiments show that it significantly outperforms prior approaches and for larger problems it is the only viable option.

研究の動機と目的

• チャンス手のない大規模な2人一般和ゲームにおける広範な形式の相関均衡（EFCE）のための効率的レジット最小化アルゴリズムを開発すること。
• 従来のレジット最小化を阻害する、相関計画ポリトープ内の非階層的かつ循環的な制約の課題を克服すること。
• ゲームにおける関連するシーケンスペアの数に対して線形時間で動作するレジットミニマイザーを設計すること。
• 相関計画ポリトープにおける冗長な制約が、構造的分解によって削除可能であることを示すこと。
• 大規模なゲームで失敗する従来のLPベースおよび勾配降下法に代わるスケーラブルな代替手法を提供すること。

提案手法

• 凸性を保つ変換である「スケーリング拡張」操作を導入し、分解された凸集合上でレジット最小化を可能にする。
• 広範な形式の相関計画ポリトープを、局所的な単体制約を表す「FillSimplex」と「SumSimplex」の操作の系列に分解する。
• 各単体領域で局所的レジットミニマイザー（例：FTRLやミラー降下）を適用する再帰的レジットミニマイザーを採用し、損失と推奨を操作の連鎖に沿って伝搬する。
• 整合性を保つために、後向きパス（ObserveLoss）と前向きパス（Recommend）を用い、妥当な反復解を維持する。
• 各局所的レジットミニマイザーからの局所的レジットの和で上界が得られるレジットバウンドを設計し、EFCEへの収束を保証する。
• ゲームに適用する際には、操作の順序を逆順に走査し、線形時間で状態を保持する。

実験結果

リサーチクエスチョン

• RQ1 相関制約に階層的構造が欠如しているにもかかわらず、一般和ゲームにおける広範な形式の相関均衡に、レジット最小化を効率的に適用できるか？
• RQ2 広範な形式の相関計画ポリトープに冗長な制約が存在し、計算を単純化できるか？
• RQ3 「スケーリング拡張」といった凸性を保つ操作により、非階層的かつ複雑な制約集合上での効率的レジット最小化が可能になるか？
• RQ4 提案されたアルゴリズムは、スケーラビリティおよび大規模ゲームにおける妥当性の観点で、従来のLPベースおよび勾配降下法を凌駆できるか？
• RQ5 大規模ゲームにおいて、妥当な反復解を維持しながら低レジットを達成できるか？

主な発見

• 提案されたアルゴリズムは、関連するシーケンスペアの数に対して線形時間で実行され、大規模ゲームへのスケーラビリティを実現する。
• 従来のサブグラデント降下法（Farina et al., 2019c）とは異なり、アルゴリズムは各ステップで妥当な反復解を生成する。
• 実験では、von Stengel & Forges (2008) のLPベースの手法およびFarina et al. (2019c) のサブグラデント降下法の両方を、特に大規模ゲームにおいて顕著に上回る。
• スケーリング拡張操作により、凸性を保ちつつ非階層的・循環的制約構造上でのレジット最小化が可能になり、モジュール式設計を可能にする。
• FillSimplexおよびSumSimplex操作による構造的分解により、局所的レジットミニマイザーの累積レジットが有界であるため、グローバルなレジットミニマイザーを構築できる。
• 大規模なゲームでは、提案されたアルゴリズムが唯一の実行可能な選択肢である。従来の手法は、計算コストの高さや妥当性の欠如によりスケーリングに失敗する。