[論文レビュー] A Computationally Efficient Implementation of Fictitious Play for Large-Scale Games

Brian Swenson, Soummya Kar+1 more|arXiv (Cornell University)|Jun 13, 2015

Game Theory and Applications参考文献 19被引用数 7

ひとこと要約

本稿では、計算的に効率的なサンプリング付き仮想的最適化（CESFP）を提案する。これは、Fictitious Playの変種であり、1ラウンドあたりのサンプリング数を1つに削減するために、確率的近似更新ルールを用いる。これにより、大規模なゲームにおいてもナッシュ均衡への確実収束を維持しつつ、計算コストを大幅に削減する。これは、サンプリング付きFP（Sampled FP）と比較して、1ラウンドあたりO(√t)のサンプルが必要となるため、大規模な設定では実用的でない。

ABSTRACT

The paper is concerned with distributed learning and optimization in large-scale settings. The well-known Fictitious Play (FP) algorithm has been shown to achieve Nash equilibrium learning in certain classes of multi-agent games. However, FP can be computationally difficult to implement when the number of players is large. Sampled FP is a variant of FP that mitigates the computational difficulties arising in FP by using a Monte-Carlo (i.e., sampling-based) approach. The Sampled FP algorithm has been studied both as a tool for distributed learning and as an optimization heuristic for large-scale problems. Despite its computational advantages, a shortcoming of Sampled FP is that the number of samples that must be drawn in each round of the algorithm grows without bound (on the order of $\sqrt{t}$, where $t$ is the round of the repeated play). In this paper we propose Computationally Efficient Sampled FP (CESFP)---a variant of Sampled FP in which only one sample need be drawn each round of the algorithm (a substantial reduction from $O(\sqrt{t})$ samples per round, as required in Sampled FP). CESFP operates using a stochastic-approximation type rule to estimate the expected utility from round to round. It is proven that the CESFP algorithm achieves Nash equilibrium learning in the same sense as classical FP and Sampled FP. Simulation results suggest that the convergence rate of CESFP (in terms of repeated-play iterations) is similar to that of Sampled FP.

研究の動機と目的

• 多数のプレイヤーが関与する大規模なマルチエージェントゲームにおけるFictitious Playの高い計算コストを解消すること。
• サンプリング付き仮想的最適化（Sampled Fictitious Play）の制限を克服すること。これは、収束を保証するために1ラウンドあたりO(√t)のサンプルが必要であり、大規模な設定では実用的でない。
• 収束性を維持しつつ、1ラウンドあたりのサンプリング複雑度を著しく削減したサンプリング付きFPの変種を開発すること。
• 高次元の戦略単体上の期待利得の直接計算を避けることで、大規模なゲームにおけるスケーラブルで分散型の学習を可能にすること。
• 最適化、ルーティング、制御の分野における応用を想定し、古典的およびサンプリング付きFPの実用的で計算的に効率的な代替手段を提供すること。

提案手法

• CESFPは、期待利得を推定するために確率的近似型の再帰的更新ルールを用いる。過去のサンプルデータと現在のサンプルを組み合わせ、過去のサンプルを破棄しない。
• アルゴリズムは1ラウンドあたり1つのサンプルしか取得しない。これにより、サンプリング付きFPが要するO(√t)のサンプルと比較して、1反復あたりの計算コストを著しく削減できる。
• 期待利得は重み付き平均で推定される：μ̂_t = (1−ρ_t)μ̂_{t−1} + ρ_t X_t、ここでρ_tは減少するステップサイズである。
• 収束性は、CESFPが一般化された弱化仮想的最適化プロセス（Generalized Weakened Fictitious Play process）であることを示すことにより証明され、[20]における均衡学習の結果を活用している。
• 高次元の期待利得の明示的評価を避けるために、再帰的に更新されるサンプル利得近似に依存している。
• ステップサイズρ_tは、∑ρ_t = ∞ かつ ∑ρ_t² < ∞ を満たすように選ばれる。これにより、推定された期待利得の漸近的収束が保証される。

実験結果

リサーチクエスチョン

• RQ1 1ラウンドあたり1つのサンプルのみを要するが、ナッシュ均衡への収束性を維持できるFictitious Playの変種を設計できるか？
• RQ2 サンプリング付きFPにおいて、1ラウンドあたりのサンプリング数をO(√t)から1に削減しても、均衡への確実収束性は保たれるか？
• RQ3 確率的近似に基づく再帰的推定ルールは、古典的なサンプリング付きFPが要する完全なサンプリングを効果的に置き換えられるか？
• RQ4 反復的プレイの反復回数の観点から、提案手法の収束速度はサンプリング付きFPと比較してどの程度か？
• RQ5 どのような大規模なゲーム設定で、本手法が保証された収束性とともに実用的に応用可能か？

主な発見

• CESFPは、ナッシュ均衡の集合への確実収束を達成しており、古典的Fictitious Playおよびサンプリング付きFPと同等の収束保証を持つ。
• アルゴリズムは1ラウンドあたり1つのサンプルのみを必要とし、サンプリング付きFPと比較して1反復あたりの計算コストをO(√t)からO(1)に削減する。
• シミュレーション結果から、反復的プレイの反復回数の観点で、CESFPの収束速度はサンプリング付きFPと同等であることが示された。
• 一般化された弱化仮想的最適化への接続により、収束性が証明され、理論的妥当性が確立された。
• 低コストの1ラウンドあたりのサンプリングオーバーヘッドのため、大規模な最適化、交通ルーティング、認知的無線、マルコフ決定過程への応用が可能である。
• 再帰的推定ルールにより、ステップサイズ列にやや緩い条件が課せられても、推定誤差が確実に0に収束することが保証される。