[論文レビュー] On the convergence of single-call stochastic extra-gradient methods

Yu-Guan Hsieh, Franck Iutzeler+2 more|arXiv (Cornell University)|Aug 22, 2019

Sparse and Compressive Sensing Techniques参考文献 32被引用数 23

ひとこと要約

本稿は、非単調な変分不等式における単一コール確率的エキストラ勾配（1-EG）法の最初の収束速度保証を確立した。1-EG法の最終反復が、2次十分条件を満たす解へのO(1/t)の局所収束速度を達成することを証明し、単調な設定を超えて最適なレートを拡張した。

ABSTRACT

Variational inequalities have recently attracted considerable interest in machine learning as a flexible paradigm for models that go beyond ordinary loss function minimization (such as generative adversarial networks and related deep learning systems). In this setting, the optimal $\mathcal{O}(1/t)$ convergence rate for solving smooth monotone variational inequalities is achieved by the Extra-Gradient (EG) algorithm and its variants. Aiming to alleviate the cost of an extra gradient step per iteration (which can become quite substantial in deep learning applications), several algorithms have been proposed as surrogates to Extra-Gradient with a \emph{single} oracle call per iteration. In this paper, we develop a synthetic view of such algorithms, and we complement the existing literature by showing that they retain a $\mathcal{O}(1/t)$ ergodic convergence rate in smooth, deterministic problems. Subsequently, beyond the monotone deterministic case, we also show that the last iterate of single-call, \emph{stochastic} extra-gradient methods still enjoys a $\mathcal{O}(1/t)$ local convergence rate to solutions of \emph{non-monotone} variational inequalities that satisfy a second-order sufficient condition.

研究の動機と目的

• 深層学習における変分不等式を解くためのエキストラ勾配（EG）法における2勾配コールの高い計算コストに対処する。
• 1イテレーションあたり1回のオракルコールでEGの前向き性を保ちつつ、単一コールエキストラ勾配（1-EG）法の統一的枠組みを構築する。
• 単調性のもとで、1-EG法の決定的および確率的設定における最適なO(1/t)収束レートを確立する。
• 2次十分条件のもとで、非単調問題への収束保証を拡張し、2次十分条件を満たす解における局所的O(1/t)最終反復収束を証明する。
• GANなど、非凸的・非単調な設定において、最終反復収束が不可欠であるため、1-EG法の使用の理論的基盤を提供する。

提案手法

• 1イテレーションあたり1回の勾配評価を用いることで、EGの2勾配構造を近似する、単一コールエキストラ勾配（1-EG）法を分析するための合成的枠組みを提案する。
• 解からの距離の二乗に基づくリャプノフ関数の分析を導入し、反復が解の近傍に留まるイベント$E_t$に条件づける。
• 2段階の更新ルールを採用する：予測勾配を用いた補足ステップの次に、1回の勾配評価による補正ステップ。
• 期待値としての解からの距離の二乗に関する再帰的不等式を用い、ノイズのバウンドとステップサイズの制御を統合する。
• 減少するイベント$E_t$を用いた確率的議論により、局所的収束を保証し、ノイズは局所的にのみバウンドされる。
• 鍵となる技術的補題（A.3）を活用し、期待誤差の減衰レートをバウンドすることで、適切なステップサイズおよびノイズ仮定のもとでO(1/t)収束を導出する。

実験結果

リサーチクエスチョン

• RQ1 単一コールエキストラ勾配法は、決定的で滑らかで単調な変分不等式において、最適なO(1/t)収束速度を達成できるか？
• RQ2 1-EG法は、分散が有界なノイズを伴う確率的設定において、エルゴディック平均および最終反復の両方でO(1/t)収束を維持するか？
• RQ3 2次十分条件を満たす非単調な変分不等式において、1-EG法の最終反復収束を保証できるか？
• RQ4 局所的ノイズ仮定は、非単調問題の収束を達成するために果たす役割は何か？
• RQ5 イベントベースの分析枠組みは、ノイズのグローバル有界性を要件としないで収束を保証する仕組みは何か？

主な発見

• 1-EG法は、決定的で滑らかで単調な変分不等式において、O(1/t)のエルゴディック収束レートを達成する。
• 分散が有界なノイズを伴う確率的設定では、1-EG法のエルゴディック平均および最終反復の両方がO(1/t)のレートで収束する。
• 2次十分条件を満たす非単調な変分不等式において、1-EG法の最終反復は高確率で局所的O(1/t)収束を達成する。
• 収束結果は局所的ノイズ仮定のもとで成立し、解の近傍での2次のモーメントが有界であるだけで十分である。
• 分析により、最終反復は収束するだけでなく、最適なレートに達することが示された。これは、平均化が失敗する非単調な問題において極めて重要である。
• 理論的枠組みにより、非単調設定における単一コールエキストラ勾配法の最初のO(1/t)最終反復収束保証が確立された。