[論文レビュー] Multiplicative Weights Update with Constant Step-Size in Congestion Games: Convergence, Limit Cycles and Chaos

Gerasimos Palaiopanos, Ioannis Panageas+1 more|arXiv (Cornell University)|Mar 3, 2017

Game Theory and Applications被引用数 60

ひとこと要約

本論文は、定数学習率を用いる線形MWUが混雑ゲームにおいてナッシュ均衡へ収束することを、 Baum–Eagon/EM の解釈を通して示す。一方、指数型バリアントMWU_eは、単純な二エージェント・二エッジの混雑設定においても、リミットサイクルやカオスを示す可能性がある。

ABSTRACT

The Multiplicative Weights Update (MWU) method is a ubiquitous meta-algorithm that works as follows: A distribution is maintained on a certain set, and at each step the probability assigned to element $γ$ is multiplied by $(1 -εC(γ))>0$ where $C(γ)$ is the "cost" of element $γ$ and then rescaled to ensure that the new values form a distribution. We analyze MWU in congestion games where agents use extit{arbitrary admissible constants} as learning rates $ε$ and prove convergence to extit{exact Nash equilibria}. Our proof leverages a novel connection between MWU and the Baum-Welch algorithm, the standard instantiation of the Expectation-Maximization (EM) algorithm for hidden Markov models (HMM). Interestingly, this convergence result does not carry over to the nearly homologous MWU variant where at each step the probability assigned to element $γ$ is multiplied by $(1 -ε)^{C(γ)}$ even for the most innocuous case of two-agent, two-strategy load balancing games, where such dynamics can provably lead to limit cycles or even chaotic behavior.

研究の動機と目的

• 混雑ゲームにおける定数学習率を用いたMWUの研究を動機づける。
• 最小条件下でMWU_lが固定点とナッシュ均衡へ収束することを証明する。
• リミットサイクルとカオスを示す明示的な反例を通じてMWU_eの限界を明らかにする。

提案手法

• 線形バリアントのMWUダイナミクスを定義する: p_{iγ}(t+1) = p_{iγ}(t) (1 - ε_i c_{iγ}(t)) / (1 - ε_i \, \bar{c}_i(t)).
• 期待ポテンシャル Ψ(p) が非平衡軌道に沿って減少することを示す。
• 非負係数多項式構造を持つ補助関数 Q(p) を導入し、Baum–Eagon を適用して単調な進歩を証明する。
• 固定点でない限り Q(p(t+1)) > Q(p(t)) となることを示し、固定点への収束を示唆する。
• MWU_l のダイナミクスを Baum–Welch/EM の特別な場合として Baum–Eagon の反復と関連付ける。
• MWU_e が単純な二エージェント・二エッジゲームでさえリミットサイクルやカオス的振る舞いを生み得る明示的な反例を提供する。

実験結果

リサーチクエスチョン

• RQ1 定数ステップサイズを持つ線形MWUは、一般の混雑ゲームで固定点への収束を保証するか。
• RQ2 MWU_l がナッシュ均衡へ収束する条件は何か、内部初期条件は収束を保証できるか。
• RQ3 指数的MWU変種(MWU_e) は、単純な混雑ゲームで非収束的なダイナミクス（リミットサイクルやカオス）を示し得るか。
• RQ4 MWU_l の収束と Baum–Eagon/EM 手続きとの構造的つながりは何か。
• RQ5 提供された例は、二エッジ混雑設定における MWU_e の限界を完全に特徴づけるか。

主な発見

• MWU_l は非平衡軌道に沿って期待ポテンシャル Ψ が厳密に減少するため、固定点へ収束を保証する。
• MWU_l はすべての初期条件に対して固定点へ収束し、内部初期条件の場合には孤立した固定点の下でナッシュ均衡へ収束する。
• 収束の証明は MWU_l が Baum–Eagon フレームワークに適合することを示すことに依存しており、これを Baum–Welch(EM) メソッドへ結びつける。
• MWU_e は最も単純な二エージェント・二エッジゲームでも収束に失敗することがあり、長さ2のリミットサイクルを示し、非対称コストでは Li–Yorke カオスを生じ得る。
• 特定の対称系で大きな定数 ε を用いると MWU_e が一意のリミットサイクルを誘発することがあり、非対称コストでは周期的またはカオス的挙動が生じ得る。