[論文レビュー] On Synchronous, Asynchronous, and Randomized Best-Response schemes for computing equilibria in Stochastic Nash games

Jinlong Lei, Uday V. Shanbhag+2 more|arXiv (Cornell University)|Apr 15, 2017

Game Theory and Voting Systems参考文献 41被引用数 9

ひとこと要約

本稿では、期待値をとった凸目的関数を最小化する確率的ナッシュゲームにおけるナッシュ均衡を計算するために、同期的、確率的、非同期的な不正確な分散型ベストリプライ（BR）スキームを提案する。確率的近似と近接BR写像を組み合わせることで、著者らはナッシュ均衡への確実収束と、$\mathcal{O}(1/\epsilon^{2(1+c)+\delta})$ のレートで平均的に線形収束を確立した。$c=0$ の同期的ケースでは、ほぼ最適な反復複雑性を達成する。

ABSTRACT

This work considers a stochastic Nash game in which each player solves a parameterized stochastic optimization problem. In deterministic regimes, best-response schemes have been shown to be convergent under a suitable spectral property associated with the proximal best-response map. However, a direct application of this scheme to stochastic settings requires obtaining exact solutions to stochastic optimization at each iteration. Instead, we propose an inexact generalization in which an inexact solution is computed via an increasing number of projected stochastic gradient steps. Based on this framework, we present three inexact best-response schemes: (i) First, we propose a synchronous scheme where all players simultaneously update their strategies; (ii) Subsequently, we extend this to a randomized setting where a subset of players is randomly chosen to their update strategies while the others keep their strategies invariant; (iii) Finally, we propose an asynchronous scheme, where each player determines its own update frequency and may use outdated rival-specific data in updating its strategy. Under a suitable contractive property of the proximal best-response map, we derive a.s. convergence of the iterates for (i) and (ii) and mean-convergence for (i) -- (iii). In addition, we show that for (i) -- (iii), the iterates converge to the unique equilibrium in mean at a prescribed linear rate. Finally, we establish the overall iteration complexity in terms of projected stochastic gradient steps for computing an $ε-$Nash equilibrium and in all settings, the iteration complexity is ${\cal O}(1/ε^{2(1+c) + δ})$ where $c = 0$ in the context of (i) and represents the positive cost of randomization (in (ii)) and asynchronicity and delay (in (iii)). The schemes are further extended to linear and quadratic recourse-based stochastic Nash games.

研究の動機と目的

• 不確実性、遅延、非同期性の下で、確率的ナッシュゲームにおけるナッシュ均衡を計算する分散型で不正確なベストリプライスキームの開発。
• 確率的設定における正確なBRスキームの限界を克服するため、正確な解の代わりに確率的近似（SA）を用いて不正確な解を導入する。
• 収縮的近接BR写像の下で、同期的、確率的、非同期的BRスキームの収束特性（確実収束および平均収束）を分析する。
• $\epsilon$-ナッシュ均衡を達成するための反復複雑性の上限を確立し、同期的ケースでのほぼ最適性を示す。
• 線形および二次的リカバリーを有する2段階確率的ナッシュゲームにフレームワークを拡張する。

提案手法

• 各プレイヤーが確率的近似（SA）スキームを用いて、確率的部分問題の正確な解を避けてBR問題を近似的に解く不正確な近接BRスキームを提案する。
• 3つの変種を導入する：(i) 全てのプレイヤーが同時に更新する同期的更新、(ii) 確率的に選ばれたプレイヤーのサブセットによる確率的更新、(iii) 遅延および古くなった他プレイヤーのデータを用いる非同期的更新。
• 収束を保証するため、近接BR写像に収縮性を適用し、写像の固有値および収縮条件を活用する。
• 反復複雑性を $\mathcal{O}(1/\epsilon^{2(1+c)+\delta})$ の観点で分析するため、投影確率的勾配（SG）ステップを用いて不正確な解を計算する。
• 期待誤差に対する帰納的バウンドを用いて収束レートを導出し、$\mathbb{E}[\|x_{j,k}-x_{j}^*\|] \leq (C+k)\rho^{\lfloor k/B_1 \rfloor}$ を示し、線形収束を示す。
• 線形および二次的リカバリーを有する2段階確率的ナッシュゲームにフレームワークを拡張し、マルチポートフォリオおよび容量拡張問題において数値的妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 確率的近似を用いた不正確なベストリプライスキームは、確率的ナッシュゲームにおいてナッシュ均衡に収束するか？
• RQ2 同期的、確率的、非同期的BRスキームは、収束性および反復複雑性においてどのように比較されるか？
• RQ3 これらのスキームにおいて、$\epsilon$-ナッシュ均衡を達成するための反復複雑性は何か？ また、確率的凸最適化における最適レートと比較してどうか？
• RQ4 提案されたスキームは、線形および二次的リカバリーを有する2段階確率的ナッシュゲームを扱えるか？
• RQ5 非同期性、確率的選択、遅延の下でも収束レートは線形のままであるか？

主な発見

• 提案された不正確なBRスキームは、同期的および確率的スキームにおいてナッシュ均衡への確実収束を達成し、すべての3つのスキームにおいて平均収束を示す。
• すべてのスキームは平均的に線形収束を示し、期待誤差が $\mathbb{E}[\|x_{j,k}-x_{j}^*\|] \leq (C+k)\rho^{\lfloor k/B_1 \rfloor}$ で有界であるため、サブ線形ではなく線形レートである。
• $\epsilon$-ナッシュ均衡を達成する反復複雑性は $\mathcal{O}(1/\epsilon^{2(1+c)+\delta})$ であり、$c=0$ の同期的ケースではほぼ最適性を示す。
• 同期的状態では、SAスキームによる確率的凸最適化の観点からほぼ最適な収束レートを達成する。
• 非同期性および確率的選択の下でも収束レートは保持され、$c>0$ がこれらの特徴のコストを複雑性上限に反映する。
• マルチポートフォリオ投資および2段階容量拡張ゲームにおける数値的結果は、理論的複雑性および収束レートの主張を妥当化する。