[論文レビュー] On the Hyperparameters in Stochastic Gradient Descent with Momentum

Bin Shi|arXiv (Cornell University)|Aug 9, 2021

Stochastic Gradient Optimization Techniques参考文献 32被引用数 6

ひとこと要約

本稿は、ハイパーパramータに依存する確率微分方程式（hp-dependent SDE）を用いて、非凸最適化におけるモーメンタム付き確率的勾配降下法（SGDM）を理論的に分析する。学習率とモーメンタム係数の共同的な影響が線形収束速度を決定することを示し、なぜSGDM（例：α=0.9）が標準的なSGDよりも高速かつより安定に収束するかを解明する。

ABSTRACT

Following the same routine as [SSJ20], we continue to present the theoretical analysis for stochastic gradient descent with momentum (SGD with momentum) in this paper. Differently, for SGD with momentum, we demonstrate it is the two hyperparameters together, the learning rate and the momentum coefficient, that play the significant role for the linear rate of convergence in non-convex optimization. Our analysis is based on the use of a hyperparameters-dependent stochastic differential equation (hp-dependent SDE) that serves as a continuous surrogate for SGD with momentum. Similarly, we establish the linear convergence for the continuous-time formulation of SGD with momentum and obtain an explicit expression for the optimal linear rate by analyzing the spectrum of the Kramers-Fokker-Planck operator. By comparison, we demonstrate how the optimal linear rate of convergence and the final gap for SGD only about the learning rate varies with the momentum coefficient increasing from zero to one when the momentum is introduced. Then, we propose a mathematical interpretation why the SGD with momentum converges faster and more robust about the learning rate than the standard SGD in practice. Finally, we show the Nesterov momentum under the existence of noise has no essential difference with the standard momentum.

研究の動機と目的

• 非凸最適化におけるモーメンタム付きSGD（SGDM）の優れた性能の背後にある理論的メカニズムを理解すること。
• 学習率とモーメンタム係数がSGDMの線形収束速度にどのように共同で影響を与えるかを調査すること。
• 観察されたSGDMの高速収束性とロバスト性の数学的説明を提供すること。
• ノイズ下におけるネステロフモーメンタムの役割を分析し、確率的設定下での標準モーメンタムと比較すること。

提案手法

• SGDMの連続的代理として、ハイパーパramータに依存する確率微分方程式（hp-dependent SDE）を定式化する。
• 超コルティビティと半古典的解析などの高度な数学的ツールを用いて、hp-dependent SDEのダイナミクスを研究する。
• Kramers-Fokker-Planck作用素の固有値を分析し、最適な線形収束速度の明示的表現を導出する。
• ネステロフ加速勾配（NAG-SCおよびNAG-C）の高分解能SDEをそれぞれ導出し、標準SGDMモデルと比較する。
• 学習率とモーメンタム係数の依存関係を統一するための混合パramータ μ = (1−α)²/(1+α)² · 1/s を導入する。
• hp-dependent SDEとNAGバージョンの高分解能SDEの間で、指数的減衰定数（収束速度）を比較する。

実験結果

リサーチクエスチョン

• RQ1 学習率 s を固定した場合、SGDMの反復的挙動はモーメンタム係数 α によってどのように変化するか？
• RQ2 モーメンタム係数 α を固定した場合、SGDMの収束挙動は学習率 s によってどのように変化するか？
• RQ3 SGDMが標準SGDよりも高速に収束し、よりロバストである数学的根拠は何か？
• RQ4 ノイズの存在下で、ネステロフモーメンタムは標準モーメンタムに根本的な利点を提供するか？
• RQ5 ハイパーパramータ s と α が非凸最適化における線形収束速度にどのように共同で影響を与えるか？

主な発見

• 非凸最適化におけるSGDMの線形収束速度は、学習率 s とモーメンタム係数 α が独立にではなく、共同で決定される。
• hp-dependent SDEフレームワーク内でのKramers-Fokker-Planck作用素の固有値を用いて、最適な線形収束速度が明示的に導出された。
• モーメンタム係数 α を 0 から 1 に増加させると、最適収束速度は著しく向上し、モーメンタムなしのSGDの最終ギャップも α の増加に伴い減少する。
• hp-dependent SDEモデルは、モーメンタムの安定化効果のおかげで、SGDMが標準SGDよりも学習率の変動に対してよりロバストであることを示している。
• ノイズ下におけるネステロフモーメンタムは、標準モーメンタムに根本的な利点を提供しない。高分解能SDE解析において、両者の収束ダイナミクスは漸近的に同等である。
• α=0.9 で s が小さい場合、hp-dependent SDEとNAG-SCの高分解能SDEの指数的減衰定数は定量的に類似しており、α=0.9 の実用的有効性が裏付けられる。