[論文レビュー] Understanding the Role of Momentum in Stochastic Gradient Methods

Igor Gitman, Hunter Lang+2 more|arXiv (Cornell University)|Oct 30, 2019

Markov Chains and Monte Carlo Methods被引用数 42

ひとこと要約

この論文は確率的勾配法における準双曲線モーメンタム(QHM)の統一的分析を提供し、パラメータ調整を指針とする収束・安定性・定常分布の結果を導出する。

ABSTRACT

The use of momentum in stochastic gradient methods has become a widespread practice in machine learning. Different variants of momentum, including heavy-ball momentum, Nesterov's accelerated gradient (NAG), and quasi-hyperbolic momentum (QHM), have demonstrated success on various tasks. Despite these empirical successes, there is a lack of clear understanding of how the momentum parameters affect convergence and various performance measures of different algorithms. In this paper, we use the general formulation of QHM to give a unified analysis of several popular algorithms, covering their asymptotic convergence conditions, stability regions, and properties of their stationary distributions. In addition, by combining the results on convergence rates and stationary distributions, we obtain sometimes counter-intuitive practical guidelines for setting the learning rate and momentum parameters.

研究の動機と目的

• 人気のある確率的勾配法の変種を包含する統一的モーメントフレームワーク(QHM)を動機づけ、正式化する。
• 減衰する学習率の下で滑らかな非凸目的関数に対する漸近的収束結果を導出する。
• 一定パラメータに対する局所安定領域と収束速度を特徴づける。
• 固定パラメータを持つQHMの定常分布を分析して分散とノイズの影響を理解する。
• constant-and-drop トレーニング設定でのalpha, beta, nu の設定に関する実用的な指針を提供する。

提案手法

• SGDとSHBを補間するパラメータ(alpha, beta, nu)を用いた一般的なQHM更新を採用する。
• 指定されたノイズ仮定(A)の下で減衰するステップサイズに対する収束結果を導く。
• 局所解近傍のダイナミクスを線形化し、拡張状態 z^k と行列 T を用いて安定性を研究する。
• スペクトル半径 rho(T) を分析して安定領域を計算し、(alpha, beta, nu) に関する明示的条件を導出する。
• 2次モデルと共分散を持つノイズを用いて定数パラメータの定常分布を調べ、二次の洞察を得る。
• 漸近理論を実践的なパラメータ選択とconstant-and-drop訓練方式に関連付ける。

実験結果

リサーチクエスチョン

• RQ1 滑らかな非凸目的関数に対してQHMの変種がほぼ確実に収束する条件は何か？
• RQ2 モーメンタムパラメータ(beta, nu)と学習率alphaがどのように相互作用して安定性と局所収束速度に影響を与えるか？
• RQ3 固定パラメータを持つQHMの定常分布の形はどうなるか、そしてalpha, beta, nu は分散にどのように影響するか？
• RQ4 constant-and-drop訓練 regime でのalpha, beta, nu の設定に関する実用的な指針は何か？
• RQ5 QHM は SGD、SHB、NAG の既知の結果をどのように統一・拡張するか？

主な発見

• beta_k -> 0 のとき、または適切なノイズ条件の下で nu_k beta_k -> 1 のとき、減衰する学習率の下でQHMはほぼ確実に収束する。
• 局所安定領域は alpha, beta, nu の明示的な境界によって特徴づけられ、局所二次近似のヘッセ行列の固有値 (mu and L) に依存する。
• 固定パラメータの場合、決定論的成分 Z^k は収束し、確率的成分は定常分布を生み出し、その共分散は alpha, beta, nu と勾配ノイズに関連する。
• 定常分散は alpha の二次展開を許し、betaとnu に関する微妙な依存性を示す。例えば、beta が大きいほど定常損失を低下させる特定の領域がある。
• 数値的および理論的結果は、最適な収束速度が nu とともに低下することを示唤し、モーメント設定は迅速な収束と小さな定常分布のバランスを取るべきである。
• SHBに似た領域では、定常損失を下げるために rate を維持しつつ alpha を減らすことができるという指針があり、実務的には beta をほぼ1に、alpha を小さく、適切な nu を設定することで成果が改善されることがある。