[論文レビュー] Distributed adaptive steplength stochastic approximation schemes for Cartesian stochastic variational inequality problems

Farzad Yousefian, Angelia Nedić+1 more|arXiv (Cornell University)|Jan 8, 2013

Stochastic processes and financial applications参考文献 39被引用数 8

ひとこと要約

本稿では、期待値を含むか、ノイズで汚されている写像を伴う不確実性下でのカルテシアン確率的変分不等式問題を解くために、分散型の適応的ステップサイズ確率的近似スキームを提案する。ステップサイズは、単調性やリプシッツ定数といった問題パラメータから導出され、一様に収束する解へへの収束を保証する。これらの定数が未知の場合、局所的ランダム化技術によりリプシッツ連続性の近似が可能となり、理論的保証のもとで近似解への収束が達成される。

ABSTRACT

Motivated by problems arising in decentralized control problems and non-cooperative Nash games, we consider a class of strongly monotone Cartesian variational inequality (VI) problems, where the mappings either contain expectations or their evaluations are corrupted by error. Such complications are captured under the umbrella of Cartesian stochastic variational inequality problems and we consider solving such problems via stochastic approximation (SA) schemes. Specifically, we propose a scheme wherein the steplength sequence is derived by a rule that depends on problem parameters such as monotonicity and Lipschitz constants. The proposed scheme is seen to produce sequences that are guaranteed to converge almost surely to the unique solution of the problem. To cope with networked multi-agent generalizations, we provide requirements under which independently chosen steplength rules still possess desirable almost-sure convergence properties. In the second part of this paper, we consider a regime where Lipschitz constants on the map are either unavailable or difficult to derive. Here, we present a local randomization technique that allows for deriving an approximation of the original mapping, which is then shown to be Lipschitz continuous with a prescribed constant. Using this technique, we introduce a locally randomized SA algorithm and provide almost-sure convergence theory for the resulting sequence of iterates to an approximate solution of the original variational inequality problem. Finally, the paper concludes with some preliminary numerical results on a stochastic rate allocation problem and a stochastic Nash-Cournot game.

研究の動機と目的

• 期待値を含むか、ノイズで汚されている写像を伴う分散型マルチエージェントシステムにおける確率的変分不等式問題に取り組む。
• 単調性やリプシッツ定数といった問題パラメータに依存する適応的ステップサイズを持つ分散型確率的近似スキームを開発する。
• 分散環境下で、ほとんど確実収束条件のもとで提案スキームの収束理論を提供する。
• リプシッツ定数が未知または計算不能であるという課題に対処するため、局所的ランダム化技術を導入し、近似的なリプシッツ連続性を保証する。
• 実世界の問題、例えば確率的レート割り当てやナッシュ＝クルノー均衡問題に対して、提案スキームを検証し、標準的な調和的ステップサイズよりも優れたロバストネスを示す。

提案手法

• 提案スキームは、問題の強い単調性およびリプシッツ定数に応じて適応する再帰的ステップサイズルールを用い、反復列が一様に唯一の解へ収束することを保証する。
• 分散型マルチエージェント設定では、ネットワークおよびステップサイズ系列に関する一定の条件を満たせば、独立したステップサイズルールのもとで収束が確立される。
• リプシッツ定数が入手不能な場合、一様かつ独立同分布のノイズを有界な集合上に局所的に摂動させることで、リプシッツ連続性の近似を得る。
• ランダム化スキームは、各エージェントが局所的に摂動された写像と適応的ステップサイズを用いて更新する分散型確率的近似フレームワークに統合される。
• 理論的分析により、反復列が近似問題の解へほとんど確実に収束し、近似解の系列が元の問題の真の解へ収束することが証明される。
• 本手法は2つのテストケースに適用された：確率的レート割り当て問題と確率的ナッシュ＝クルノー競争ゲーム。数値結果により、調和的ステップサイズスキームと性能を比較した。

実験結果

リサーチクエスチョン

• RQ1 問題パラメータに基づく適応的ステップサイズルールは、カルテシアン変分不等式問題における分散型確率的近似で、ほとんど確実収束を保証できるか？
• RQ2 エージェント間で独立してステップサイズが選ばれる場合、分散型マルチエージェントスキームはどのようにして収束を維持できるか？
• RQ3 写像のリプシッツ定数が未知または計算不能である場合、代替的な有効な手法は何か？
• RQ4 局所的ランダム化技術は、非リプシッツ写像に対しても、所望の定数を持つリプシッツ連続性の近似を生成できるか？
• RQ5 実用的な確率的均衡問題において、適応的ステップサイズスキームは標準的な調和的ステップサイズスキームと比べてどのように性能を発揮するか？

主な発見

• 提案された適応的ステップサイズスキームは、強い単調性を持つカルテシアン確率的変分不等式問題の唯一の解へ、反復列がほとんど確実に収束することを保証する。
• 分散環境下では、ネットワークおよびステップサイズ系列に関する適切な条件のもと、独立したステップサイズルールであっても、ほとんど確実収束が保証される。
• 局所的ランダム化技術は、元の写像がリプシッツでない場合であっても、所望の定数を持つリプシッツ連続性の近似を成功裏に生成した。
• 確率的レート割り当て問題における数値結果から、適応的分散ステップサイズアルゴリズム（DASA）は、パrameter設定が変化しても調和的ステップサイズスキーム（HSA）よりも顕著に低い誤差を達成した。
• 確率的ナッシュ＝クルノー競争ゲームにおいて、DASAスキームは信頼区間がより狭く、さまざまなパrameter設定においてHSAスキームよりもロバストであることが示された。特にMCR-DASAは、θ=10のMCR-HSAよりも誤差境界がタイトであった。
• MSR-DASAスキームは、θ=1のMSR-HSAスキームと同等の信頼区間を達成し、θ=10のMSR-HSAスキームよりもタイトであった。これは、優れたロバストネスと安定性を示している。