[論文レビュー] A Lyapunov Optimization Approach to Repeated Stochastic Games

Michael J. Neely|arXiv (Cornell University)|Oct 9, 2013

Game Theory and Applications参考文献 18被引用数 5

ひとこと要約

本稿では、N人による繰り返しの確率的ゲームを解くためのリャプノフ最適化に基づくオンラインアルゴリズムを提案する。ゲームマネージャーは、時間変動する重みを用いて、時間平均効用の凹型公平関数を最大にする相関戦略を計算し、粗い相関均衡（CCE）制約の下で最適な効用配分を達成する。この手法は、事象確率の知識を必要とせず、多項式時間で収束することを保証する。

ABSTRACT

This paper considers a time-varying game with $N$ players. Every time slot, players observe their own random events and then take a control action. The events and control actions affect the individual utilities earned by each player. The goal is to maximize a concave function of time average utilities subject to equilibrium constraints. Specifically, participating players are provided access to a common source of randomness from which they can optimally correlate their decisions. The equilibrium constraints incentivize participation by ensuring that players cannot earn more utility if they choose not to participate. This form of equilibrium is similar to the notions of Nash equilibrium and correlated equilibrium, but is simpler to attain. A Lyapunov method is developed that solves the problem in an online \emph{max-weight} fashion by selecting actions based on a set of time-varying weights. The algorithm does not require knowledge of the event probabilities and has polynomial convergence time. A similar method can be used to compute a standard correlated equilibrium, albeit with increased complexity.

研究の動機と目的

• 繰り返しの確率的ゲームにおける時間平均効用の凹型公平関数を最大化するオンラインアルゴリズムの設計。
• 解が粗い相関均衡（CCE）制約を満たすことを保証し、いかなるプレイヤーも単独で行動を変更しても利益を得られないようにすること。
• 基礎となる事象確率分布の知識が不要な手法の開発。
• ドリフト＋ペナルティフレームワークを用いて、最適解への多項式時間収束を達成すること。
• 相関意思決定を伴う動的で確率的なゲーム理論的設定へ、リャプノフ最適化手法の適用範囲を拡張すること。

提案手法

• 時間変動するリャプノフ重みに基づく最大重みポリシーを用いて、効用最大化と制約満たしのバランスを取るメッセージベクトルを選択する。
• 問題をドリフト＋ペナルティ最適化として定式化し、ペナルティ項により時間平均効用におけるCCE制約を強制する。
• オンラインで動作し、観測された確率的イベント ω(t) に基づいて毎時刻に行動を更新するが、事象分布 π[ω] の知識は不要である。
• 仮想的静的ゲームの定式化により解を得る。均衡条件は、積形仮定を用いて条件付き行動分布 Pr[α|ω] にマッピングされる。
• 仮想的静的ゲームにおけるナッシュ均衡が、積形行動分布を介して、確率的ゲームにおける有効なCCEを誘導することを証明することで、CCEの妥当性を保証する。
• 収束が問題パラメータに対して多項式時間で達成され、時間平均効用が制御されたレートで最適値に近づくことが示されている。

実験結果

リサーチクエスチョン

• RQ1 リャプノフ最適化フレームワークを、公平性と均衡制約を伴う繰り返しの確率的ゲームに適応可能か？
• RQ2 事象確率の知識がなくても、粗い相関均衡（CCE）制約下での時間平均効用最大化はどのように達成可能か？
• RQ3 仮想的静的ゲームにおけるナッシュ均衡と、それに対応する確率的ゲームにおけるCCEとの関係は何か？
• RQ4 提案されたオンラインアルゴリズムは、均衡および公平性の保証を維持しながら、多項式時間収束を達成可能か？
• RQ5 標準的な相関均衡計算と比較して、提案手法の複雑さと性能はどのように異なるか？

主な発見

• 提案されたリャプノフベースのアルゴリズムは、基礎となる事象確率分布 π[ω] の知識がなくても、CCE制約下での時間平均効用最大化を達成する。
• アルゴリズムは多項式時間で最適解に収束し、時間平均効用は問題のサイズとリャプノフパラメータに依存するレートで最適値に近づく。
• 任意の仮想的静的ゲームにおけるナッシュ均衡が、積形行動分布 Pr[α|ω] = ∏ᵢ Pr[αᵢ|ωᵢ] を介して、確率的ゲームにおける有効なCCEを誘導することを保証する。
• 本稿では、確率的ゲームにおけるCCEの集合がすべてのナッシュ均衡を含む、すなわち 𝒫ₙₑₛₜₒc ⊆ 𝒫cₑˢₜₒc であることを証明し、均衡の階層を確立する。
• アルゴリズムは標準的な相関均衡の計算にも適応可能であるが、CCEベースのアプローチに比べて計算複雑度が高くなる。
• 理論的分析により、CCE制約が満たされるのは、いかなる単独での逸脱についても期待効用が均衡結果を上回らない場合に限られ、不等式 (20)–(21) で形式化される。