[論文レビュー] Distributed Variable Sample-Size Gradient-response and Best-response Schemes for Stochastic Nash Games over Graphs

Jinlong Lei, Uday V. Shanbhag|arXiv (Cornell University)|Nov 27, 2018

Distributed Control Multi-Agent Systems参考文献 36被引用数 10

ひとこと要約

本稿は、グラフ上での確率的ナッシュゲームに対して、分散型変動サンプルサイズ勾配応答および最良応答スキームを提案し、最適収束速度と低通信複雑度を達成する。サンプルサイズを幾何的に適応させ、コセンサスプロトコルを用いることで、$Ó(\ln^2(1/\epsilon))$ の通信複雑度を達成しつつ、$\mathcal{O}(1/\epsilon^{1/v})$ の反復回数および $\mathcal{O}(1/\epsilon^{1+1/v})$ のオракル複雑度で $\epsilon$-ナッシュ均衡に収束する。

ABSTRACT

This paper considers a stochastic Nash game in which each player minimizes an expectation valued composite objective. We make the following contributions. (I) Under suitable monotonicity assumptions on the concatenated gradient map, we derive ({\bf optimal}) rate statements and oracle complexity bounds for the proposed variable sample-size proximal stochastic gradient-response (VS-PGR) scheme when the sample-size increases at a geometric rate. If the sample-size increases at a polynomial rate of degree $v > 0$, the mean-squared errordecays at a corresponding polynomial rate while the iteration and oracle complexities to obtain an $\epsilon$-NE are $\mathcal{O}(1/\epsilon^{1/v})$ and $\mathcal{O}(1/\epsilon^{1+1/v})$, respectively. (II) We then overlay (VS-PGR) with a consensus phase with a view towards developing distributed protocols for aggregative stochastic Nash games. In the resulting scheme, when the sample-size and the consensus steps grow at a geometric and linear rate, computing an $\epsilon$-NE requires similar iteration and oracle complexities to (VS-PGR) with a communication complexity of $\mathcal{O}(\ln^2(1/\epsilon))$; (III) Under a suitable contractive property associated with the proximal best-response (BR) map, we design a variable sample-size proximal BR (VS-PBR) scheme, where each player solves a sample-average BR problem. Akin to (I), we also give the rate statements, oracle and iteration complexity bounds. (IV) Akin to (II), the distributed variant achieves similar iteration and oracle complexities to the centralized (VS-PBR) with a communication complexity of $\mathcal{O}(\ln^2(1/\epsilon))$ when the communication rounds per iteration increase at a linear rate. Finally, we present some preliminary numerics to provide empirical support for the rate and complexity statements.

研究の動機と目的

• 分散環境下で期待値を含む合成目的関数を最小化するプレイヤーを対象とした確率的ナッシュゲームに対処すること。
• 近似ナッシュ均衡を計算するための、通信および反復複雑度が低い効率的な分散アルゴリズムを開発すること。
• 異なるサンプルサイズ成長戦略の下で、収束速度およびオラクル複雑度の境界を確立すること。
• 中心集約型の変動サンプルサイズスキームを、通信オーバーヘッドを最小限に抑えて分散型に拡張すること。
• 予備的な数値実験を通じて理論的複雑度境界の妥当性を検証すること。

提案手法

• 幾何的または多項式的サンプルサイズ成長を用いた、変動サンプルサイズプロキシマル確率的勾配応答（VS-PGR）スキームを提案する。
• コセンサスフェーズを導入し、VS-PGRを分散プロトコルに拡張することで、グラフ上での情報交換を可能にする。
• プレイヤーがサンプル平均最良応答問題を解くことにより、変動サンプルサイズプロキシマル最良応答（VS-PBR）スキームを設計する。
• 連結勾配マップの単調性およびプロキシマル最良応答マップの収縮性の下で収束を確立する。
• 異なるサンプルサイズおよびコセンサス成長率の下で、中心集約型および分散型の両方のバージョンにおける反復およびオラクル複雑度を分析する。
• レート解析および複雑度境界を用いて、$\\epsilon$-ナッシュ均衡への収束を特徴付ける。

実験結果

リサーチクエスチョン

• RQ1 確率的ナッシュゲームに対する変動サンプルサイズプロキシマル確率的勾配応答スキームの収束速度および複雑度は何か？
• RQ2 分散型コセンサスを変動サンプルサイズスキームと統合することで、通信複雑度を低く保てるか？
• RQ3 サンプルサイズが幾何的ではなく多項式的成長を示す場合、反復およびオラクル複雑度の境界は何か？
• RQ4 プロキシマル最良応答マップの収縮性が、変動サンプルサイズ設定における収束に与える影響は何か？
• RQ5 分散型バージョンにおいて、最適な反復およびオラクル複雑度を維持しつつ、どの程度の通信複雑度が達成可能か？

主な発見

• サンプルサイズが幾何的に成長する場合、VS-PGRスキームは $\mathcal{O}(1/\epsilon^{1/v})$ の反復回数および $\mathcal{O}(1/\epsilon^{1+1/v})$ のオラクル複雑度で、$\epsilon$-ナッシュ均衡に最適収束速度を達成する。
• 多項式的サンプルサイズ成長（次数 $v > 0$）の下では、平均二乗誤差が $\mathcal{O}(1/k^v)$ の多項式レートで減少する。ここで $k$ は反復回数を表す。
• 分散型VS-PGRの変種は、コセンサスステップが線形に増加し、サンプルサイズが幾何的に成長する場合、$\mathcal{O}(\ln^2(1/\epsilon))$ の通信複雑度を達成する。
• 収縮性のあるプロキシマル最良応答マップの下では、VS-PBRスキームはVS-PGRと同様の収束および複雑度境界を達成する。
• 分散型VS-PBRの変種は、中心集約型と同等の反復およびオラクル複雑度を維持し、通信ラウンドが線形に増加する場合、$\mathcal{O}(\ln^2(1/\epsilon))$ の通信複雑度を達成する。
• 予備的な数値実験により、勾配応答および最良応答スキームの両方の理論的レートおよび複雑度に関する主張が、実験的に裏付けられている。