[論文レビュー] Forward-backward-forward methods with variance reduction for stochastic variational inequalities

Radu Ioan Boţ, Panayotis Mertikopoulos+2 more|arXiv (Cornell University)|Feb 9, 2019

Sparse and Compressive Sensing Techniques参考文献 4被引用数 13

ひとこと要約

本稿では、分散低減を組み込んだ新しい確率的前向き後向き前向き（SFBF）アルゴリズムを、擬似単調な確率的変分不等式を解くために提案する。Tsengの前向き後向き前向きフレームワークに分散低減を統合することで、反復毎に1回の投影のみを必要としながら、ほとんど確実な収束を達成し、既存の確率的外挿勾配法よりも収束速度と計算複雑度で優れる。

ABSTRACT

We develop a new stochastic algorithm with variance reduction for solving pseudo-monotone stochastic variational inequalities. Our method builds on Tseng's forward-backward-forward (FBF) algorithm, which is known in the deterministic literature to be a valuable alternative to Korpelevich's extragradient method when solving variational inequalities over a convex and closed set governed by pseudo-monotone, Lipschitz continuous operators. The main computational advantage of Tseng's algorithm is that it relies only on a single projection step and two independent queries of a stochastic oracle. Our algorithm incorporates a variance reduction mechanism and leads to almost sure (a.s.) convergence to an optimal solution. To the best of our knowledge, this is the first stochastic look-ahead algorithm achieving this by using only a single projection at each iteration..

研究の動機と目的

• 高次元または扱いにくい積分によって期待値演算子が計算不能となる場合に、確率的変分不等式を解く課題に対処すること。
• Tsengの前向き後向き前向き法の計算効率を維持しつつ、より弱い単調性仮定のもとで収束を達成する確率的アルゴリズムを開発すること。
• 分散低減を確率的前向き後向き前向きフレームワークに組み込み、収束速度と安定性を向上させること。
• 演算子の擬似単調性とリプシッツ連続性のもとで、提案手法のほとんど確実な収束を確立すること。
• 実験的に、反復回数と収束速度の面で、既存の確率的外挿勾配手法を上回ることを示すこと。

提案手法

• アルゴリズムは、各反復で演算子 $ F(x, \xi) $ を確率的オракルでサンプリングすることにより、Tsengの前向き後向き前向き法を確率的設定に拡張する。
• 現在の反復点 $ x_n $ と予測された補外点 $ y_n $ の2点での評価を用いる二点型確率的オラクル方式を採用し、前向き後向き前向きステップを近似する。
• 履歴勾配推定値を用いる制御変数技術により、分散低減機構を導入し、確率的演算子評価のノイズを低減する。
• 減少するステップサイズルールを用い、擬似単調性とリプシッツ連続性のもとで、ほとんど確実に解に収束することを保証する。
• 反復毎に1回のユークリッド投影のみを実行し、計算効率を維持しながら収束安定性を向上させる。
• 理論的分析では、確率的誤差のモーメントバウンドにマルティングール差分列を用い、条件付き期待値技術により反復の分散を制御する。

実験結果

リサーチクエスチョン

• RQ1 分散低減付きの確率的前向き後向き前向き法は、擬似単調な確率的変分不等式に対してほとんど確実な収束を達成できるか？
• RQ2 提案手法は、収束速度と反復複雑度の面で、標準的な確率的外挿勾配法を上回るか？
• RQ3 分散低減は、反復毎に1回の投影のみを必要とする前向き後向き前向きフレームワークに効果的に統合可能か？
• RQ4 強単調性や単調性よりも弱い単調性仮定（例えば、擬似単調性）のもとでも、この手法はロバストか？
• RQ5 数値実験において、分散低減機構は収束の安定性と速度にどのような影響を与えるか？

主な発見

• 提案されたSFBFアルゴリズムは、演算子の擬似単調性とリプシッツ連続性のもとで、確率的変分不等式の解にほとんど確実に収束する。
• 本手法は反復毎に1回の投影のみを必要とし、標準的な確率的外挿勾配法よりも計算的により効率的である。
• 数値実験では、SFBFは特に非対称なゲームにおいて、反復回数と収束速度の面で、確率的外挿勾配法（SEG）を一貫して上回ることが示された。
• 分散低減機構により、確率的勾配のノイズが顕著に低減され、より高速かつ安定した収束が達成された。
• 理論的分析により、マルティングール技術を用いて確率的誤差のモーメントバウンドを確立した。誤差は $ O(1/\sqrt{m_{n+1}}) $ として減少し、ここで $ m_{n+1} $ は反復あたりのサンプル数を表す。
• 本手法は、反復毎に1回の投影のみを用いながら、ほとんど確実な収束を達成する最初の分散低減付き確率的先読みアルゴリズムである。