[論文レビュー] On Learning Rates and Schrödinger Operators

Bin Shi, Weijie Su+1 more|arXiv (Cornell University)|Apr 15, 2020

Machine Learning and Algorithms参考文献 69被引用数 13

ひとこと要約

本稿では、非凸最適化における確率的勾配降下法（SGD）をモデル化するため、学習率に依存する確率的微分方程式（lr-SDE）を導入する。Wittenラプラシアン—シュレーディンガー作用素の一種—の固有値を分析することで、線形収束速度の明示的表現を導出し、非凸設定では学習率が小さくなるにつれて収束速度が急速に減少するが、強凸の場合には一定のままであることを示した。これは、深層学習における学習率の減少が理論的に裏付けられることを示している。

ABSTRACT

The learning rate is perhaps the single most important parameter in the training of neural networks and, more broadly, in stochastic (nonconvex) optimization. Accordingly, there are numerous effective, but poorly understood, techniques for tuning the learning rate, including learning rate decay, which starts with a large initial learning rate that is gradually decreased. In this paper, we present a general theoretical analysis of the effect of the learning rate in stochastic gradient descent (SGD). Our analysis is based on the use of a learning-rate-dependent stochastic differential equation (lr-dependent SDE) that serves as a surrogate for SGD. For a broad class of objective functions, we establish a linear rate of convergence for this continuous-time formulation of SGD, highlighting the fundamental importance of the learning rate in SGD, and contrasting to gradient descent and stochastic gradient Langevin dynamics. Moreover, we obtain an explicit expression for the optimal linear rate by analyzing the spectrum of the Witten-Laplacian, a special case of the Schrödinger operator associated with the lr-dependent SDE. Strikingly, this expression clearly reveals the dependence of the linear convergence rate on the learning rate -- the linear rate decreases rapidly to zero as the learning rate tends to zero for a broad class of nonconvex functions, whereas it stays constant for strongly convex functions. Based on this sharp distinction between nonconvex and convex problems, we provide a mathematical interpretation of the benefits of using learning rate decay for nonconvex optimization.

研究の動機と目的

• 非凸最適化における確率的勾配降下法（SGD）の収束にあたって学習率がどのように影響するかを理論的に理解すること。
• 学習率の減少といった実践的アプローチと、非凸設定における理論的裏付けの間のギャップを埋めること。
• 連続時間のlr依存SDEとしてSGDをモデル化し、固有値理論を用いてその収束特性を分析すること。
• 非凸問題と強凸問題における学習率に対する収束挙動の根本的差を明らかにすること。
• 大きな初期学習率と学習率スケジューリングが最適化性能を向上させる理由を数学的に解釈すること。

提案手法

• 離散的SGDの連続時間的代替として、学習率に依存する確率的微分方程式（lr-SDE）を定式化する。
• lr-SDEの確率密度関数の時間発展を記述するために、Fokker-Planck-Smoluchowski方程式を用いる。
• lr-SDEに関連するWittenラプラシアン作用素（シュレーディンガー作用素の特殊ケース）の固有値を分析する。
• 目的関数に正則性条件が課された下で、lr-SDEの線形収束速度を確立する。
• 学習率とモースサドル障壁 $ H_{f,\bullet} $ を含む、線形収束速度の明示的表現を導出する。
• 固有値の小学習率極限における振る舞いを特徴付けるために、固有値理論と漸近解析を適用する。

実験結果

リサーチクエスチョン

• RQ1 学習率は非凸最適化におけるSGDの収束速度にどのように影響するか？
• RQ2 なぜ学習率の減少が深層ニューラルネットワークの最適化性能を向上させるのか？
• RQ3 SGD下での非凸問題と強凸問題における収束挙動の根本的差は何か？
• RQ4 SGDの収束速度を、学習率と目的関数の幾何的性質の観点から明示的に表現できるか？
• RQ5 Wittenラプラシアンの固有構造は、SGDのダイナミクスとどのように関係するか？

主な発見

• 非凸モース関数の広いクラスにおいて、lr-SDEの線形収束速度は学習率 $ s \to 0 $ のとき急速にゼロに収束する。
• これに対して、強凸関数では $ s \to 0 $ のとき線形収束速度が一定のままであるため、凸と非凸の設定における根本的差が明確に示された。
• 最適な線形収束速度は、Wittenラプラシアンの固有値を用いて明示的に表現可能であり、学習率とモースサドル障壁 $ H_{f,\bullet} $ に依存する。
• Wittenラプラシアンの固有値は $ \delta_{s,\ell} = s(\gamma_\ell + o(s)) \mathrm{e}^{-2H_{f,\ell}/s} $ を満たし、障壁高さに指数関数的に依存することが示された。
• 理論的枠組みにより、深層ニューラルネットワークの学習において大きな初期学習率と学習率のスケジューリングが、非凸な形状の最適化においてより速い収束を可能にする理由が裏付けられた。
• 本フレームワークは、非凸最適化における勾配ノイズと学習率の役割を定量的に理解する基盤を提供する。