[論文レビュー] Pseudomonotone Stochastic Variational Inequality Problems: Analysis and Stochastic Approximation Schemes

Aswin Kannan, Uday V. Shanbhag|arXiv (Cornell University)|Oct 7, 2014

Risk and Portfolio Optimization参考文献 59被引用数 5

ひとこと要約

本稿は、擬単調確率的変分不等式問題（PSVIs）の統合フリーな存在および一意性条件を構築し、擬単調性のもとでほとんど確実に収束するextragradientおよびミラー・プロックス確率的近似スキームを提案するとともに、より強い条件下で平均二乗誤差の最適収束速度O(1/K)を確立し、従来の単調な領域を超えて結果を拡張する。

ABSTRACT

The variational inequality problem represents an effective tool for capturing a range of phenomena arising in engineering, economics, and applied sciences. Prompted by the role of uncertainty, recent efforts have considered both the analysis as well as the solution of the associated stochastic variational inequality problem where the map is expectation-valued. Yet, a majority of the studies have been restricted to regimes where the map is monotone. This work is motivated by the growing interest in pseudomonotone stochastic variational inequality problems (PSVIs); such problems emerge from product pricing, fractional optimization problems, and subclasses of economic equilibrium problems arising in uncertain regimes. In this paper, we first observe that a direct application of standard existence/uniqueness theory requires a tractable expression for the integrals arising from the expectation. Instead, we develop integration- free sufficiency conditions for the existence and uniqueness of solutions to PSVIs. We consider the solution of PSVIs via stochastic approximation (SA) schemes, motivated by the observation that almost all of the prior SA schemes can accommodate monotone SVIs. Under various forms of pseudomonotonicity, we prove that the solution iterates produced by extragradient SA schemes converge to the solution set in an almost sure sense. This result is further extended to mirror-prox regimes and an analogous statement is also provided for monotone regimes under a weak-sharpness requirement. Under stronger conditions, we derive the optimal initial steplength and show that the mean-squared error in the solution iterates produced by the extragradient SA scheme converges at the optimal rate of O(1/K). Finally, both the asymptotics and the empirical rates of the schemes are studied on a set of pseudomonotone and non-monotone variational problems.

研究の動機と目的

• 不確実な経済的・工学的システムに現れる、擬単調確率的変分不等式（PSVIs）に対する理論的ツールの不足に取り組む。
• PSVIsにおける期待値積分の明示的表現が要求される標準的存在理論の制限を克服する。
• 特にextragradientおよびミラー・プロックス法を含む、擬単調性のもとで解集合にほとんど確実に収束する確率的近似スキームを開発する。
• 強い仮定、例えば強い擬単調性およびリプシッツ連続性のもとで、平均二乗誤差の最適収束速度O(1/K)を確立する。
• 擬単調および非単調なテスト問題における漸近的収束および実験的収束速度を検証する。

提案手法

• 期待値積分の明示的計算に依存しない、PSVIsの解の存在および一意性のための統合フリー十分条件を導入する。
• さまざまな擬単調性仮定の下でPSVIsを解くためのextragradient確率的近似スキームを提案する。
• マルティンゲール収束の議論と擬単調性の性質を用いて、解の反復列が解集合にほとんど確実に収束することを証明する。
• 収束結果をミラー・プロックススキームに拡張し、単調な領域における弱い鋭さ（weak-sharpness）のもとで類似の結果を確立する。
• 最適な初期ステップサイズを導出し、強い擬単調性およびリプシッツ連続性の下で、平均二乗誤差が最適レートO(1/K)で減少することを示す。
• 数値実験を通じて、さまざまな擬単調および非単調な問題における漸近的挙動と実験的収束速度を評価する。

実験結果

リサーチクエスチョン

• RQ1 期待値積分の明示的計算を要しないで、PSVIsの解の存在および一意性を確立できるか？
• RQ2 擬単調性のもとで、extragradient確率的近似スキームはPSVIsに対してほとんど確実に収束するか？
• RQ3 PSVIsにおいて、平均二乗誤差の収束速度O(1/K)を達成できるか、どのような条件下で達成できるか？
• RQ4 ミラー・プロックススキームはPSVIsに対してどのように機能するか、そして単調な場合と同様の収束保証を達成できるか？
• RQ5 これらのスキームは非単調および擬単調な変分不等式問題において、実験的にどの程度の性能を示すか？

主な発見

• 本稿は、期待値積分の明示的評価を必要としない、PSVIsの解の存在および一意性のための統合フリー十分条件を確立し、解析を可能にする。
• さまざまな形の擬単調性のもとで、extragradient確率的近似スキームは解集合にほとんど確実に収束する。
• ミラー・プロックススキームもPSVIsに対してほとんど確実に収束し、単調な領域における弱い鋭さのもとで類似の結果が得られる。
• 強い仮定、特に強い擬単調性およびリプシッツ連続性のもとで、extragradientスキームの平均二乗誤差は最適レートO(1/K)で収束する。
• 最適な初期ステップサイズが導出され、平均二乗誤差の観点で最良の収束速度を達成するのに寄与する。
• 数値実験により、漸近的収束挙動が確認され、擬単調および非単調な問題において理論的予測と整合的な実験的収束速度が示された。