[論文レビュー] Stochastic Variance Reduction for Variational Inequality Methods

Ahmet Alacaoglu, Yura Malitsky|arXiv (Cornell University)|Feb 16, 2021

Stochastic Gradient Optimization Techniques参考文献 44被引用数 18

ひとこと要約

本稿では、単調な変分不等式に対する確率的バリアンス削減アルゴリズムを提案し、確定的アルゴリズムの拡張として、外挙げ法（extragradient）、前向き後向き前向き法（forward-backward-forward）、前向き反射後向き法（forward-reflected-backward）を有限和設定に拡張する。提案手法は、確定的対応物と同等の収束保証を達成し、有界な定義域を仮定しない単調性のもとで、凸凹な鞍点問題における既存の最良の複雑度境界を満たすか、それを上回る。

ABSTRACT

We propose stochastic variance reduced algorithms for solving convex-concave saddle point problems, monotone variational inequalities, and monotone inclusions. Our framework applies to extragradient, forward-backward-forward, and forward-reflected-backward methods both in Euclidean and Bregman setups. All proposed methods converge in the same setting as their deterministic counterparts and they either match or improve the best-known complexities for solving structured min-max problems. Our results reinforce the correspondence between variance reduction in variational inequalities and minimization. We also illustrate the improvements of our approach with numerical evaluations on matrix games.

研究の動機と目的

• 最小化問題におけるそれらの単純さと頑健性を模倣する、変分不等式におけるバリアンス削減技術の不足を解消すること。
• 有界な定義域やより強い仮定を必要とせず、単調性のもとでの収束を保証する、単調な変分不等式のための確率的アルゴリズムを開発すること。
• 有限和設定における構造的ミニマックス問題の最良の既知のレートに一致するか、それを上回る複雑度境界を達成すること。
• バリアンス削減をブレグマン設定および単調な包含問題に拡張し、文献において初めてそのような結果を提供すること。
• 行列ゲームや既存のバリアンス削減スキームとの数値比較を通じて、実用的利点を示すこと。

提案手法

• 有限和単調変分不等式のための、外挙げ法（EG）、前向き後向き前向き法（FBF）、前向き反射後向き法（FoRB）の確率的変種を提案する。
• スチューデント近似にインspiredされたバリアンス削減メカニズムを用い、勾配推定値は基準点における完全勾配とサンプリング成分の組み合わせで構成される。
• 三重点恒等式とブレグマン発散の恒等式を用いて、ユークリッドおよびブレグマン設定の両方で安定性と収束境界を導出する。
• 内側と外側の反復を含む二重ループ構造を導入し、単調性のもとでバリアンスを低減しながら収束を維持する。
• 最小化におけるバリアンス削減と変分不等式との対応関係を活用し、アルゴリズム設計を統一する。
• 制御変数を用いた再帰的更新ルールを用いて、確率的作用素評価のバリアンスを低減する。

実験結果

リサーチクエスチョン

• RQ1 最小化問題におけるバリアンス削減技術を、より強い仮定を必要とせずに、単調な変分不等式に自然に拡張できるか？
• RQ2 有限和構造を持つ凸凹な鞍点問題における、確率的アルゴリズムの最適な複雑度は何か？
• RQ3 前向き反射後向き法および前向き後向き前向き法に、単調性のもとで収束を保証する確率的バリアンス削減を適用できるか？
• RQ4 提案されたアルゴリズムは、有界な定義域や追加の凸性仮定を必要とする既存の確率的手法よりも、より良い複雑度を達成できるか？
• RQ5 バリアンス削減は、単調な包含問題およびブレグマン設定に一般化可能で、収束速度が向上するか？

主な発見

• 提案された確率的アルゴリズムは、確定的対応物と同等の収束保証を達成し、単調性のもとでの収束を保証する。
• 双線形問題では、$\mathcal{O}(N + \frac{\sqrt{N}L}{\varepsilon})$ の最良の既知の複雑度を達成し、最先端の結果と一致する。
• 非双線形問題では、既存の最良の複雑度を対数的要因で改善し、有界な定義域の仮定を必要としない。
• このフレームワークは、ユークリッドおよびブレグマン設定の両方における外挙げ法、前向き後向き前向き法、前向き反射後向き法に適用可能である。
• バリアンス削減の変分不等式と最小化の間の根本的な対応関係を確立し、長年の理解のギャップを解消した。
• 行列ゲームにおける数値的評価では、確定的および既存の確率的バリアンス削減スキームよりも実用的な改善が得られた。