[論文レビュー] Nesterov's method with decreasing learning rate leads to accelerated stochastic gradient descent

Maxime Laborde, Adam M. Oberman|arXiv (Cornell University)|Aug 21, 2019

Stochastic Gradient Optimization Techniques参考文献 29被引用数 6

ひとこと要約

本稿では、ネステロフ法の連続時間ODE定式化に基づいて導出された、減少する学習率を用いる新しい確率的勾配降下法（SGD）アルゴリズムを提案する。離散化された結合ODE系を用いることで、強い凸性の場合に最後の反復で最適な$ olimits\mathcal{O}(1/k)$収束率を達成し、凸性の場合には$ olimits\mathcal{O}(k^{-3/4})$の収束率を達成する。従来の手法と比較して、より良い定数を有する。

ABSTRACT

We present a coupled system of ODEs which, when discretized with a constant time step/learning rate, recovers Nesterov's accelerated gradient descent algorithm. The same ODEs, when discretized with a decreasing learning rate, leads to novel stochastic gradient descent (SGD) algorithms, one in the convex and a second in the strongly convex case. In the strongly convex case, we obtain an algorithm superficially similar to momentum SGD, but with additional terms. In the convex case, we obtain an algorithm with a novel order $k^{3/4}$ learning rate. We prove, extending the Lyapunov function approach from the full gradient case to the stochastic case, that the algorithms converge at the optimal rate for the last iterate of SGD, with rate constants which are better than previously available.

研究の動機と目的

• 連続時間ODEフレームワークを用いて、加速された収束を達成する新しい確率的勾配降下法の開発。
• 収束速度の証明のため、決定的状況から確率的状況へのリャプノフ関数アプローチの拡張。
• 特に強い凸性の場合に、SGDの最後の反復の収束バウンズにおける定数を改善すること。
• 凸性の場合に最適な収束を達成する、$k^{-3/4}$オーダーの新しい学習率スケジュールの導出。
• ODEベースのシステムにおける学習率の減少が、従来の手法と比較してより良い定数を有する加速SGDをもたらすことを示すこと。

提案手法

• 定数学習率を用いた離散化によって、ネステロフの加速勾配降下法を回復する2階微分方程式の結合系を導出する。
• 同じODE系に減少する学習率スケジュールを導入し、新しい確率的勾配降下法を生成する。
• リャプノフ関数アプローチを用いて収束を証明し、分散が有界な勾配を仮定した確率的状況への決定的解析の拡張を行う。
• 関数値とモーメンタム項を組み合わせたリャプノフ関数$E_k^C$を定義し、アルゴリズム下で期待値が単調に減少することを保証する。
• リャプノフ関数の差分を合算し、積分比較を用いて得られる級数をバウンディングすることで収束バウンズを確立する。
• 凸性の場合の学習率$h_k = c / (k+1)^{3/4}$を提案し、$t_k = \sum_{i=0}^k h_i$を用いてその収束への影響を分析する。

実験結果

リサーチクエスチョン

• RQ1 ネステロフ法の連続時間ODE定式化を、減少する学習率を用いた確率的状況に適応させることで、加速されたSGDを導出できるか？
• RQ2 提案されたアルゴリズムは、強い凸性の場合に最後の反復で最適な$ olimits\mathcal{O}(1/k)$収束率を達成し、より良い定数を有するか？
• RQ3 凸性の場合に最適な収束を達成する、$k^{-3/4}$オーダーの新しい学習率スケジュールを導出し、その有効性を証明できるか？
• RQ4 分散が有界な勾配を仮定した確率的状況において、リャプノフ関数アプローチはどのように拡張されるか？
• RQ5 強い凸性の場合の定数において滑らかさ定数$L$に依存しない影響は何か？

主な発見

• 強い凸性の場合、アルゴリズムは最後の反復で最適な$ olimits\mathcal{O}(1/k)$収束率を達成し、滑らかさパrameter$L$に依存しない定数を有する。
• 凸性の場合、学習率$h_k = c / (k+1)^{3/4}$を用いることで、$ olimits\mathcal{O}(k^{-3/4})$の収束率を達成する。これは与えられた仮定下で最適である。
• 期待関数値ギャップは、$\mathbb{E}[f(x_k) - f^*] \leq \frac{\frac{1}{16c^2}E_0^C + c^2\sigma^2(1 + \log k)}{\sqrt{k}}$を満たし、$k^{-3/4}$の収束率が改善された定数で証明される。
• リャプノフ関数$E_k^C$はアルゴリズム下で期待値が減少し、積分比較を用いてその和がバウンデッドであることが示され、収束証明が可能になる。
• 強い凸性の場合の定数は、$L$への依存性を排除することで改善されており、従来の手法と比較して顕著な利点を有する。
• 分析により、分散が有界な確率的状況へのリャプノフ関数法の拡張がなされ、加速SGDの収束解析に堅牢なフレームワークが提供される。