[論文レビュー] Special Properties of Gradient Descent with Large Learning Rates

Amirkeivan Mohtashami, Martin Jaggi+1 more|arXiv (Cornell University)|May 30, 2022

Stochastic Gradient Optimization Techniques被引用数 6

ひとこと要約

この論文は、勾配降下法（GD）における大きな学習率が、確率的ノイズが存在しない状況下でも非凸最適化における局所的最小値からの脱出を可能にすることを示している。これは、SGDの成功を説明するための従来の理論である「ノイズによる説明」に反するものである。著者らは理論的に証明し、実験的にも確認した。大きな学習率は、グローバル最小値に収束する異なる軌道を生じさせるが、小さな学習率では局所的最小値に閉じ込められてしまう。これは、学習率の大きさがノイズ拡大を超えた根本的な役割を果たすことを示している。

ABSTRACT

When training neural networks, it has been widely observed that a large step size is essential in stochastic gradient descent (SGD) for obtaining superior models. However, the effect of large step sizes on the success of SGD is not well understood theoretically. Several previous works have attributed this success to the stochastic noise present in SGD. However, we show through a novel set of experiments that the stochastic noise is not sufficient to explain good non-convex training, and that instead the effect of a large learning rate itself is essential for obtaining best performance.We demonstrate the same effects also in the noise-less case, i.e. for full-batch GD. We formally prove that GD with large step size -- on certain non-convex function classes -- follows a different trajectory than GD with a small step size, which can lead to convergence to a global minimum instead of a local one. Our settings provide a framework for future analysis which allows comparing algorithms based on behaviors that can not be observed in the traditional settings.

研究の動機と目的

• 大きな学習率が、ノイズの増幅を超えて最適化上の利点を提供するかどうかを調査すること。
• 非凸設定において、大きな学習率と小さな学習率が異なる軌道を描くことを形式的に証明すること。
• 大きな学習率が、小さな学習率が局所的最小値に収束するのに対し、グローバル最小値に収束させることを示すこと。
• 大きな学習率の効果が、単にノイズを増加させることで再現可能でないことを、理論的および実験的証拠で示すこと。
• 従来の滑らかさ仮定では観察できない軌道の差異に基づく最適化アルゴリズムの分析フレームワークを確立すること。

提案手法

• 局所的最小値とグローバル最小値を有する非凸関数のクラスに対してGDの理論的分析を行い、大きな学習率が局所的最小値からの軌道の逸脱を引き起こすことを示した。
• 合成的な非凸関数上で、大規模バッチGDを用いた、大きな学習率と小さな学習率の実験的比較により、脱出行動を観察した。
• 繰り返しミニバッチを用いた実験設計により、学習率の効果を確率的ノイズから分離し、ノイズの大きさを一定に保った。
• 標準的なニューラルネットワークアーキテクチャ（例：ResNet）を大きな学習率で訓練し、現実世界での局所的最小値からの脱出を観察した。
• 小さな学習率と大きな学習率の軌道の間の直線上での損失ランドスケープ分析により、損失の変化を可視化し、脱出行動を確認した。
• 連続時間の勾配フローを、離散的GDと対比する基準として用い、有限ステップサイズの最適化ダイナミクスにおける役割を強調した。

実験結果

リサーチクエスチョン

• RQ1 SGDにおける大きな学習率の成功は、単にノイズの増幅によるものなのか、それとも学習率の大きさそのものに固有の効果があるのか？
• RQ2 小さな学習率GDが失敗する非凸関数において、大きな学習率を用いたフルバッチGDが局所的最小値から脱出できるか？
• RQ3 小さな学習率を維持したままノイズの大きさを増加させることで、大きな学習率の効果を再現できるか？
• RQ4 非凸最適化において、大きな学習率GDと小さな学習率GDの軌道にどのような相違があるか？
• RQ5 大きな学習率の理論的利点は、実際のニューラルネットワーク学習で観察できるか？

主な発見

• フルバッチGDにおいて、大きな学習率は特定の非凸関数クラスにおいて局所的最小値からの脱出を可能にし、グローバル最小値に収束するが、小さな学習率では局所的最小値に収束する。
• 大きな学習率の効果は、ノイズを増加させるだけでは再現できない。固定された小さな学習率と増加したノイズの大きさを用いた実験では、グローバル収束に至らなかった。
• 大きな学習率を用いたGDの軌道は、小さな学習率GDの軌道から顕著に逸脱しており、特に局所的最小値付近の領域で顕著である。
• 小さな学習率と大きな学習率の軌道の間の直線上の損失は、初期には上昇（脱出を示唆）し、後に減少（グローバル最小値への収束を示唆）する。これは非単調な振る舞いを確認するものである。
• 実際のニューラルネットワーク学習において、大きな学習率はテスト精度の向上をもたらし、確率的ノイズが存在しない状況下でも、劣悪な局所的最小値からの脱出が観察された。
• 大きな学習率と小さな学習率の間の挙動の差は、勾配フロー（無限小のステップサイズ）では捉えられない。これは、離散的ステップサイズが最適化ダイナミクスにおいて重要な役割を果たすことを示している。