[論文レビュー] Asynchronous Schemes for Stochastic and Misspecified Potential Games and Nonconvex Optimization

Jinlong Lei, Uday V. Shanbhag|arXiv (Cornell University)|Nov 6, 2017

Distributed Control Multi-Agent Systems参考文献 67被引用数 3

ひとこと要約

本稿では、パrametric misspecification を伴う確率的ポテンシャルゲームに対して、非同期不正確なプロキシマルベストリスポンススキームを提案する。確率的近似と射影勾配法を組み合わせることで、分散型で通信量が少ないナッシュ均衡の計算が可能になる。遅延情報と非凸ポテンシャル関数の下でも、ほとんど確実にナッシュ均衡の連結部分集合に収束し、ギャップ関数の平均値がゼロに収束することが保証される。

ABSTRACT

The distributed computation of equilibria and optima has seen growing interest in a broad collection of networked problems. We consider the computation of equilibria of convex stochastic Nash games characterized by a possibly nonconvex potential function. Our focus is on two classes of stochastic Nash games: (P1): A potential stochastic Nash game, in which each player solves a parameterized stochastic convex program; and (P2): A misspecified generalization, where the player-specific stochastic program is complicated by a parametric misspecification. In both settings, exact proximal BR solutions are generally unavailable in finite time since they necessitate solving parameterized stochastic programs. Consequently, we design two asynchronous inexact proximal BR schemes to solve the problems, where in each iteration a single player is randomly chosen to compute an inexact proximal BR solution with rivals' possibly outdated information. Yet, in the misspecified regime (P2), each player possesses an extra estimate of the misspecified parameter and updates its estimate by a projected stochastic gradient (SG) algorithm. By Since any stationary point of the potential function is a Nash equilibrium of the associated game, we believe this paper is amongst the first ones for stochastic nonconvex (but block convex) optimization problems equipped with almost-sure convergence guarantees. These statements can be extended to allow for accommodating weighted potential games and generalized potential games. Finally, we present preliminary numerics based on applying the proposed schemes to congestion control and Nash-Cournot games.

研究の動機と目的

• 確率的ポテンシャルゲームにおけるパrametric不確実性を伴うナッシュ均衡を計算する分散型で通信量が少ないアルゴリズムの開発を目的とする。
• 有限時間における確率的プログラムの非可解性に起因する不正確なプロキシマルベストリスポンス解の課題に対処することを目的とする。
• 非同期スキーム内に、未知パラメータの共同学習を射影確率的勾配法を用いて統合することを目的とする。
• 一般の遅延および不正確さの条件下で、反復列がナッシュ均衡の連結部分集合にほとんど確実に収束することを確立することを目的とする。
• 強い凸性を有するプレイヤー問題にまで収束保証を拡張し、混雑制御およびナッシュ＝クルノー均衡ゲームへの適用可能性を示すこと。

提案手法

• 1反復ごとに1人のプレイヤーが遅延した他プレイヤー情報と不正確な解（確率的近似により得る）を用いて更新する非同期不正確なプロキシマルベストリスポンススキームを用いる。
• 未知パラメータの推定に、バッチサイズを増加させる射影確率的勾配アルゴリズムを採用する。
• ポテンシャル関数に対してブロック座標降下法を適用し、ナッシュ均衡とポテンシャル関数の停留点との等価性を活用する。
• 不正確さのシーケンスに制約を課し、ナッシュ均衡の連結部分集合へのほとんど確実な収束を保証する。
• ギャップ関数を導入し、その平均値がゼロに収束することにより、均衡の質を示す。
• 適切なスキームの修正により、重み付きおよび一般化されたポテンシャルゲームへも結果を拡張する。

実験結果

リサーチクエスチョン

• RQ1 パrametric misspecification を伴う確率的ポテンシャルゲームにおいて、非同期不正確なプロキシマルベストリスポンススキームは、一般の不正確さおよび通信遅延条件下で、ナッシュ均衡の連結部分集合にほとんど確実に収束するか？
• RQ2 プレイヤー固有の問題が強い凸性を有する場合と凸性を有する場合とで、収束挙動はどのように変化するか？
• RQ3 非同期スキームと標準的な確率的勾配法とを比較した場合、反復複雑性と通信オーバーヘッドのトレードオフはどのようなものか？
• RQ4 射影確率的勾配法による未知パラメータの共同学習を、収束性を損なわずに非同期ベストリスポンススキームに統合できるか？
• RQ5 提案されたスキームは、重み付きおよび一般化されたポテンシャルゲームへどの程度一般化可能か？

主な発見

• 提案された非同期不正確なプロキシマルベストリスポンススキームは、不正確さおよび通信遅延に関する一般条件の下で、ナッシュ均衡の集合の連結部分集合にほとんど確実に収束する。
• ギャップ関数は平均値がゼロに収束し、反復列がゲーム理論的最適性の観点からナッシュ均衡に近づいていることを示している。
• 強い凸性の下では、正則化なしに不正確な純粋ベストリスポンススキームがほとんど確実に収束することが示された。
• 標準的な非同期確率的勾配法と比較して、通信オーバーヘッドを約500分の1にまで低減したが、勾配ステップ数は約10倍必要となった。
• 混雑制御およびナッシュ＝クルノー均衡ゲームにおける数値結果から、ほとんど確実な収束が確認され、通信効率の優位性が示された。