[論文レビュー] Learning to Correlate in Multi-Player General-Sum Sequential Games

Andrea Celli, Alberto Marchesi+2 more|arXiv (Cornell University)|Oct 14, 2019

Experimental Behavioral Economics Studies被引用数 20

ひとこと要約

本稿では、複数人、一般和の逐次的ゲームにおける粗い協調均衡（CCE）を計算するための、新たなレジスト最小化アルゴリズム CFR-Jr を提案する。定期的な連携戦略再構築を統合することにより、CFR-Jr は CCE に向けて非線形レジスト収束を達成し、従来の CFR-S や最先端のアルゴリズムと比較して理論的にも実験的にも高速であることが示された。計算効率とスケーラビリティを維持している。

ABSTRACT

In the context of multi-player, general-sum games, there is an increasing interest in solution concepts modeling some form of communication among players, since they can lead to socially better outcomes with respect to Nash equilibria, and may be reached through learning dynamics in a decentralized fashion. In this paper, we focus on coarse correlated equilibria (CCEs) in sequential games. First, we complete the picture on the complexity of finding social-welfare-maximizing CCEs by showing that the problem is not in Poly-APX unless P = NP. Furthermore, simple arguments show that CFR - working with behavioral strategies - may not converge to a CCE. However, we devise a simple variant (CFR-S) which provably converges to the set of CCEs, but may be empirically inefficient. Thus, we design a variant of the CFR algorithm (called CFR-Jr) which approaches the set of CCEs with a regret bound sub-linear in the size of the game, and is shown to be dramatically faster than CFR-S and the state-of-the-art algorithms to compute CCEs.

研究の動機と目的

• 複数人、一般和の逐次的ゲームにおける粗い協調均衡（CCE）を効率的かつ分散型で計算するためのアルゴリズムの不足を解決すること。
• 標準的な CFR アルゴリズムの限界を克服すること。一般和の設定では、行動戦略均衡に収束するが、CCE には収束しない。
• ゲームツリーのサイズに対して非線形レジストで CCE に理論的に収束する学習アルゴリズムを設計すること。
• アルゴリズムにおける連携分布再構築レートの設定を可能にすることで、計算効率と解の品質のバランスを図ること。
• 実験的に、CFR-Jr が CFR-S や既存の最先端のアルゴリズムよりも収束速度と実行時間で優れていることを示すこと。

提案手法

• 反事後レジスト最小化（CFR）の変種として、各イテレーションで正規形戦略を再構築することにより、CCE の集合に理論的に収束することを保証する CFR-S を提案する。
• CFR-S の最適化版として、定期的（k イテレーションごと）に連携分布再構築を実行する CFR-Jr を導入し、計算コストを低減する。
• 連携戦略再構築手順を用いて行動戦略を正規形戦略に変換し、CCE への収束を保証する。
• 情報集合上でレジスト最小化ダイナミクスを適用し、局所的レジスト最小化を維持しながら、正規形戦略の積を介してグローバルな CCE 収束を実現する。
• 加重平均化メカニズムを実装し、平均連携戦略を計算することで、非線形レジストで CCE に収束することを保証する。
• 再構築頻度、実行時間、連携戦略のサポートサイズとのトレードオフを許容する設定可能なバリエーション CFR-Jr-k を導入する。

実験結果

リサーチクエスチョン

• RQ1 複数人、一般和の逐次的ゲームにおいて、理論的に CCE に収束するレジスト最小化アルゴリズムを設計することは可能か？
• RQ2 3人以上のプレイヤーを含む逐次的ゲームにおいて、社会的福祉を最大化する CCE を求める問題の計算複雑性は何か？
• RQ3 CFR スタイルのアルゴリズムに効率的に連携戦略再構築を統合することで、CCE 収束を保証しつつ、過度な計算コストを回避できるか？
• RQ4 CCE 計算アルゴリズムにおいて、再構築頻度、収束速度、ストレージ要件の間にはどのようなトレードオフがあるか？
• RQ5 変更を加えた CFR アルゴリズムは、実際の応用において CFR-S や最先端の CCE 計算手法よりも高速に収束できるか？

主な発見

• 3人以上のプレイヤーを含む逐次的ゲームにおいて、社会的福祉を最大化する CCE を計算する問題は、P = NP でない限り Poly-APX に属しない。これは強い近似不能性の結果を示している。
• CFR-S は理論的に CCE の集合に収束することが証明されているが、各イテレーションで完全な再構築が行われるため、実験的に非効率である。
• CFR-Jr はゲームツリーのサイズに対して非線形レジストを達成し、実験では CFR-S や既存の最先端のアルゴリズムと比較して著しく高速に収束する。
• 実験結果から、CFR-Jr では再構築頻度が高い（例：1〜5イテレーションごと）ほど実行時間が短縮され、収束性能が維持される。一方、低い頻度では低エプソン解への収束が速くなる。
• 平均連携戦略のサポートサイズは再構築頻度に比例し、k の値が低いほど、戦略更新頻度が高いため、最大で10倍のストレージが必要になる。
• Kuhn3-6 および Kuhn3-10 のゲームインスタンスにおいて、CFR-Jr はイテレーション数およびウォールクロック時間の両面でベースライン手法よりも高速な収束を達成し、実用的優位性を示している。