[論文レビュー] Distributed Forward-Backward algorithms for stochastic generalized Nash equilibrium seeking

Barbara Franci, Sergio Grammatico|arXiv (Cornell University)|Dec 9, 2019

Extremum Seeking Control Systems参考文献 37被引用数 4

ひとこと要約

本稿では、期待値型の目的関数を伴う確率的一般化ナッシュ均衡問題（SGNEP）を解くための分散型、事前条件付き前向き-後向きアルゴリズムを提案する。疑似勾配を確率的サンプルで近似し、共通収縮性（cocoercivity）を活用することで、弱い単調性仮定のもとで、ほとんど確実に一般化ナッシュ均衡に収束する。既存の手法に比べて数値的高速性に優れる。

ABSTRACT

We consider the stochastic generalized Nash equilibrium problem (SGNEP) with expected-value cost functions. Inspired by Yi and Pavel (Automatica, 2019), we propose a distributed GNE seeking algorithm based on the preconditioned forward-backward operator splitting for SGNEP, where, at each iteration, the expected value of the pseudogradient is approximated via a number of random samples. As main contribution, we show almost sure convergence of our proposed algorithm if the pseudogradient mapping is restricted (monotone and) cocoercive. For non-generalized SNEPs, we show almost sure convergence also if the pseudogradient mapping is restricted strictly monotone. Numerical simulations show that the proposed forward-backward algorithm seems faster that other available algorithms.

研究の動機と目的

• 共有制約を伴う大規模かつ不確実なマルチエージェントシステムにおける一般化ナッシュ均衡の計算という課題に対処すること。
• 各エージェントが局所的な情報と、疑似勾配のノイズのあるサンプルのみを用いる分散型アルゴリズムを開発すること。
• 制限付き共通収縮性のもとでSGNEPに対してほとんど確実な収束を確立すること。また、制限付き厳密単調性のもとでSNEPに対しても同様の結果を得ること。
• 従来の確率的手法（例：外挿法や前向き-後向き-後向き法）に比べ、より単純なサンプルベースの前向き-後向きスキームを用いることで、計算効率を向上させること。

提案手法

• アルゴリズムは、SGNEPの変動不等式定式化を解くために、事前条件付き前向き-後向き分割フレームワークを用いる。
• 各反復において、確率変数の独立同一分布（i.i.d.）実現値の平均を用いて、期待値型疑似勾配を近似する。
• サンプリングノイズをモデル化するための確率的誤差項を導入し、その2次のモーメントを濃度不等式を用いて有界化する。
• 減少するステップサイズ則を採用し、リャプノフ型解析により反復値の有界性を保証する。
• 残差がほとんど確実に消える投影固定点反復を用いて収束を確立する。
• 収束の解析には、射影の非拡大性とヤングの不等式を用い、均衡点までの距離に関する再帰的バインドを導出する。

実験結果

リサーチクエスチョン

• RQ1 局所的情報とサンプル化された疑似勾配推定値のみを用いる分散型、確率的前向き-後向きアルゴリズムは、SGNEPにおいて一般化ナッシュ均衡にほとんど確実に収束するか。
• RQ2 確率的設定において収束を保証するために、疑似勾配写像に必要な仮定（例：共通収縮性、単調性）は何か。
• RQ3 確率的近似によるサンプリング誤差は、アルゴリズムの収束速度と安定性にどのように影響するか。
• RQ4 同じ仮定のもとで、提案手法は外挿法や前向き-後向き-後向き法といった既存手法よりも計算的に効率的か。
• RQ5 事前条件付き戦略は、確率的GNEP設定における標準的前向き-後向きスキームに比べ、より速い収束を実現できるか。

主な発見

• 疑似勾配写像が制限付き共通収縮的である限り、提案手法は一般化ナッシュ均衡にほとんど確実に収束する。
• 非一般化SNEPに対しても、疑似勾配が制限付き厳密単調である限り、ほとんど確実な収束が保証される。
• サンプリング誤差が $\mathcal{O}(1/\sqrt{S_k})$ のオーダーで減少することが示され、漸近的一貫性が保証される。ここで $S_k$ は反復 $k$ におけるサンプル数である。
• 数値的シミュレーションにより、単純さにもかかわらず、他の利用可能な確率的GNEPソルバーに比べて収束が速いことが示された。
• 反復値の有界性と残差の消える性質から、列の任意のクラスターポイントはSGNEPの解であることが示された。
• 収束の証明は、確率的近似を用いた事前条件付き前向き-後向き分割の新規応用に依拠しており、決定的結果を確率的設定に拡張した。