[論文レビュー] Accelerated Linear Convergence of Stochastic Momentum Methods in Wasserstein Distances

Bugra Can, Mert Gürbüzbalaban+1 more|arXiv (Cornell University)|Jan 22, 2019

Stochastic Gradient Optimization Techniques参考文献 47被引用数 18

ひとこと要約

本稿は、ノイズのある勾配を持つ1階オракルの下で、Stochastic Momentum法—具体的にはNesterovの加速勾配（AG）、Polyakのヘヴィーボール（HB）、および加速投影勾配（APG）—の1-Wasserstein距離における最初の線形収束レートを確立した。ノイズ分散が導出された閾値未満である限り、AGが不変分布のε近傍に$O(\sqrt{\kappa}\log(1/\varepsilon))$のレートで線形収束することを証明し、ステップサイズ、モーメンタム、ノイズ耐性の間のトレードオフを定量化した。

ABSTRACT

Momentum methods such as Polyak's heavy ball (HB) method, Nesterov's accelerated gradient (AG) as well as accelerated projected gradient (APG) method have been commonly used in machine learning practice, but their performance is quite sensitive to noise in the gradients. We study these methods under a first-order stochastic oracle model where noisy estimates of the gradients are available. For strongly convex problems, we show that the distribution of the iterates of AG converges with the accelerated $O(\sqrtκ\log(1/\varepsilon))$ linear rate to a ball of radius $\varepsilon$ centered at a unique invariant distribution in the 1-Wasserstein metric where $κ$ is the condition number as long as the noise variance is smaller than an explicit upper bound we can provide. Our analysis also certifies linear convergence rates as a function of the stepsize, momentum parameter and the noise variance; recovering the accelerated rates in the noiseless case and quantifying the level of noise that can be tolerated to achieve a given performance. In the special case of strongly convex quadratic objectives, we can show accelerated linear rates in the $p$-Wasserstein metric for any $p\geq 1$ with improved sensitivity to noise for both AG and HB through a non-asymptotic analysis under some additional assumptions on the noise structure. Our analysis for HB and AG also leads to improved non-asymptotic convergence bounds in suboptimality for both deterministic and stochastic settings which is of independent interest. To the best of our knowledge, these are the first linear convergence results for stochastic momentum methods under the stochastic oracle model. We also extend our results to the APG method and weakly convex functions showing accelerated rates when the noise magnitude is sufficiently small.

研究の動機と目的

• 機械学習で一般的なノイズのある勾配の下でのモーメンタムに基づく加速手法の収束挙動を分析すること。
• Stochastic AG, HB, APG手法について、1-Wasserstein距離における厳密な線形収束保証を確立すること。
• 勾配ノイズの下で加速収束レートを維持できる最大のノイズ分散を定量化すること。
• 弱凸関数および二次的関数の目的関数に対し、ノイズが十分に小さい場合に加速レートが成立することを示す。
• ステップサイズ、モーメンタムパラメータ、ノイズ分散の関数としての収束レートの明示的境界を提供すること。

提案手法

• 不偏で平均がゼロ、分散が有界な勾配ノイズを持つ1階オラクルモデルの下で、Stochastic Momentum法を分析する。
• 反復点の分布に関する1-Wasserstein距離における収縮バウンドを導出するために、リャプノフ関数のアプローチを用いる。
• 不変分布のε近傍への$O(\sqrt{\kappa}\log(1/\varepsilon))$の形の明示的収束レートを導出する。
• AGおよびHBのノイズ下でのダイナミクスを捉えるために、修正されたリャプノフ関数$V_{P_{\alpha,\beta}}$を導入する。
• 安定性および収縮解析から、加速収束を維持するためのノイズ分散$\sigma^2$のバウンドを確立する。
• 弱凸関数および制約付き問題に対してはAPG手法を用いて拡張し、ノイズが小さい場合に同様の加速レートが成立することを示す。

実験結果

リサーチクエスチョン

• RQ1 AG や HB のような加速モーメンタム手法は、ノイズのある勾配の下でも線形収束を達成できるか？
• RQ2 Stochastic設定下で加速収束を維持できる勾配ノイズの最大レベルは何か？
• RQ3 ステップサイズおよびモーメンタムパラメータは、Stochastic勾配下での収束レートにどのように影響するか？
• RQ4 ノイズ下で反復点の分布は1-Wasserstein距離において定常分布に収束するか？
• RQ5 Stochastic設定下でも$O(\sqrt{\kappa}\log(1/\varepsilon))$の加速収束レートを維持できるか？どのような条件下で成立するか？

主な発見

• AGの反復点の分布は、1-Wasserstein距離において不変分布の半径εの球に$O(\sqrt{\kappa}\log(1/\varepsilon))$のレートで線形収束する。
• 加速収束が保証されないための臨界なノイズ分散の上界が導出された。
• ノイズなしの極限では、決定的レート$O(\sqrt{\kappa}\log(1/\varepsilon))$に回復する。
• 二次的関数の目的関数に対しては、よりタイトなバウンドが得られ、同じノイズ制約下でグローバルな加速収束が確認された。
• ノイズの大きさが十分に小さい場合、APG手法は弱凸ケースでも加速収束レートを達成する。
• 数値実験により、定常分布の存在が確認され、さまざまなノイズレベルにおける理論的収束レートの妥当性が検証された。