[論文レビュー] Distributed Variable Sample-Size Gradient-response and Best-response Schemes for Stochastic Nash Equilibrium Problems over Graphs

Jinlong Lei, Uday V. Shanbhag|arXiv (Cornell University)|Nov 27, 2018

Distributed Control Multi-Agent Systems参考文献 39被引用数 6

ひとこと要約

本稿は、グラフ上の確率的ナッシュ均衡問題に対して、増加するバッチサイズとコンSENSUS反復を組み合わせた分散型可変サンプルサイズ勾配応答（d-VS-PGR）および最良応答（d-VS-PBR）方式を提案する。幾何的収束速度と最適なオракル複雑度を達成し、通信複雑度は $\mathcal{O}(\ln^2(1/\epsilon))$ に抑えられ、$\epsilon$-ナッシュ均衡の計算に適している。

ABSTRACT

This paper considers a stochastic Nash game in which each player minimizes an expectation valued composite objective. We make the following contributions. (I) Under suitable monotonicity assumptions on the concatenated gradient map, we derive optimal rate statements and oracle complexity bounds for the proposed variable sample-size proximal stochastic gradient-response (VS-PGR) scheme when the sample-size increases at a geometric rate. If the sample-size increases at a polynomial rate of degree $v > 0$, the mean-squared errordecays at a corresponding polynomial rate while the iteration and oracle complexities to obtain an $ε$-NE are $\mathcal{O}(1/ε^{1/v})$ and $\mathcal{O}(1/ε^{1+1/v})$, respectively. (II) We then overlay (VS-PGR) with a consensus phase with a view towards developing distributed protocols for aggregative stochastic Nash games. In the resulting scheme, when the sample-size and the consensus steps grow at a geometric and linear rate, computing an $ε$-NE requires similar iteration and oracle complexities to (VS-PGR) with a communication complexity of $\mathcal{O}(\ln^2(1/ε))$; (III) Under a suitable contractive property associated with the proximal best-response (BR) map, we design a variable sample-size proximal BR (VS-PBR) scheme, where each player solves a sample-average BR problem. Akin to (I), we also give the rate statements, oracle and iteration complexity bounds. (IV) Akin to (II), the distributed variant achieves similar iteration and oracle complexities to the centralized (VS-PBR) with a communication complexity of $\mathcal{O}(\ln^2(1/ε))$ when the communication rounds per iteration increase at a linear rate. Finally, we present some preliminary numerics to provide empirical support for the rate and complexity statements.

研究の動機と目的

• 情報共有が限られたネットワークシステムにおける確率的ナッシュ均衡問題のための分散型アルゴリズムを開発すること。
• 単調性および収縮性の仮定の下で、最適な収束速度を達成する可変サンプルサイズの確率的勾配応答および最良応答方式を設計すること。
• 中央集権的および分散的バージョンの反復、オラクル、通信複雑度を分析すること。
• 幾何的および多項式的サンプルサイズ増加の下で、収束速度および複雑度の上限を確立すること。
• 大規模な確率的ゲームにおける $\epsilon$-ナッシュ均衡のスケーラブルかつ分散型計算を可能にすること。

提案手法

• 収束を加速するために、幾何的または多項式的なサンプルサイズ増加を伴う可変サンプルサイズプロキシマル確率的勾配応答（VS-PGR）方式を提案する。
• 分散型バージョン（d-VS-PGR）を導入し、コンセンサスステップと増加するサンプルサイズを組み合わせて、分散型計算を可能にする。
• プロキシマル写像の収縮性を利用した可変サンプルサイズプロキシマル最良応答（VS-PBR）方式を開発し、収束を高速化する。
• 各反復で $k+1$ 回のコンセンサスラウンドを実行する分散型最良応答バージョン（d-VS-PBR）を設計し、収束速度を維持する。
• 勾配の単調性およびリプシッツ連続性に関する仮定に基づき、誤差バウンドと収縮の議論を用いて収束速度を導出する。
• サンプルサイズの増加と平均二乗誤差の減少、$\epsilon$-精度との関係を用いて、オラクル複雑度を分析する。

実験結果

リサーチクエスチョン

• RQ1 可変サンプルサイズの確率的勾配応答方式は、確率的ナッシュ均衡問題においてどの程度の収束速度を達成できるか？
• RQ2 幾何的増加と多項式的増加のどちらが、平均二乗誤差およびアルゴリズムの複雑度に影響を与えるか？
• RQ3 分散型コンセンサスベースのプロトコルは、中央集権型方式の収束速度を保持しつつ、通信量を最小限に抑えることができるか？
• RQ4 サンプルサイズが幾何的に増加し、コンセンサスラウンドが線形に増加する場合、分散型方式の通信複雑度はどの程度か？
• RQ5 プロキシマル最良応答写像が可変サンプリングにおいて幾何的収束をもたらすための条件は何か？

主な発見

• サンプルサイズが幾何的に増加する場合、d-VS-PGR方式は $\mathcal{O}(\ln^2(1/\epsilon))$ の通信複雑度と $\mathcal{O}(\ln(1/\epsilon))$ の反復複雑度を達成し、$\epsilon$-ナッシュ均衡を計算可能である。
• サンプルサイズが多項式的に増加し、増加率が $v>0$ の場合、平均二乗誤差は $\mathcal{O}(1/\epsilon^{1/v})$ のレートで減少し、反復複雑度とオラクル複雑度はそれぞれ $\mathcal{O}(1/\epsilon^{1/v})$ および $\mathcal{O}(1/\epsilon^{1+1/v})$ である。
• サンプルサイズが幾何的に増加する場合、d-VS-PBR方式は幾何的収束を達成し、反復複雑度は $\mathcal{O}(\ln(1/\epsilon))$、オラクル複雑度は $\mathcal{O}(1/\epsilon)$ である。
• d-VS-PBR方式は中央集権型VS-PBRと同程度の反復およびオラクル複雑度を維持し、各反復で $k+1$ 回のコンセンサスラウンドを実行する条件下で通信複雑度は $\mathcal{O}(\ln^2(1/\epsilon))$ である。
• 収縮性のあるプロキシマル最良応答写像の下では、VS-PBR方式は最適なオラクル複雑度を達成する幾何的収束を保証する。
• 理論的分析により、勾配の単調性およびリプシッツ連続性に関する標準的仮定の下で、誤差の減少および複雑度の上限がタイトであることが確認された。