[論文レビュー] Reconciling Modern Deep Learning with Traditional Optimization Analyses: The Intrinsic Learning Rate

Zhiyuan Li, Kaifeng Lyu+1 more|arXiv (Cornell University)|Oct 6, 2020

Model Reduction and Neural Networks被引用数 15

ひとこと要約

この論文は、正規化された深層ネットワークにおける学習動態を支配する主要なパrameterとして、学習率と重み減衰の積である「内在的学習率」を導入する。確率的勾配降下法（SGD）を確率微分方程式（SDE）でモデル化することで、関数空間における平衡状態のスケーリングが内在的学習率に反比例することを示し、良い一般化を達成するために初期学習率を大きくする必要があるという一般的な信念に疑問を呈するとともに、バッチ正規化の成功を説明するための「高速平衡仮説」を提唱する。

ABSTRACT

Recent works (e.g., (Li and Arora, 2020)) suggest that the use of popular normalization schemes (including Batch Normalization) in today's deep learning can move it far from a traditional optimization viewpoint, e.g., use of exponentially increasing learning rates. The current paper highlights other ways in which behavior of normalized nets departs from traditional viewpoints, and then initiates a formal framework for studying their mathematics via suitable adaptation of the conventional framework namely, modeling SGD-induced training trajectory via a suitable stochastic differential equation (SDE) with a noise term that captures gradient noise. This yields: (a) A new ' intrinsic learning rate' parameter that is the product of the normal learning rate and weight decay factor. Analysis of the SDE shows how the effective speed of learning varies and equilibrates over time under the control of intrinsic LR. (b) A challenge -- via theory and experiments -- to popular belief that good generalization requires large learning rates at the start of training. (c) New experiments, backed by mathematical intuition, suggesting the number of steps to equilibrium (in function space) scales as the inverse of the intrinsic learning rate, as opposed to the exponential time convergence bound implied by SDE analysis. We name it the Fast Equilibrium Conjecture and suggest it holds the key to why Batch Normalization is effective.

研究の動機と目的

• バッチ正規化のような正規化手法の文脈において、現代の深層学習を伝統的な最適化解析と調和させること。
• 古典的最適化の視点とは異なる、正規化ネットワークの学習動態における根本的な乖離を特定すること。
• 勾配ノイズを伴うSGDの軌道をモデル化するための確率微分方程式（SDE）を用いた数学的枠組みを形式化すること。
• 学習開始時に大きな学習率を必要とするという広く共有されている信念が、理論的・実験的に裏付けられているかどうかを検証すること。
• 内在的学習率に反比例する収束時間を持つ「高速平衡仮説」を提唱し、その妥当性を検証すること。

提案手法

• 勾配ノイズを表すノイズ項を備えた確率微分方程式（SDE）を用いて、正規化ネットワークにおける確率的勾配降下法（SGD）の学習軌道をモデル化する。
• 標準的な学習率と重み減衰係数の積として定義される「内在的学習率」を導入し、これが有効な学習速度を支配することを明示する。
• SDEの解析を通じて、系の時間発展を導出し、内在的学習率が関数空間における均衡化をどのように制御するかを特定する。
• 理論的分析と制御された実験を用いて、平衡に達するまでの時間の内在的学習率に対するスケーリングを検証する。
• 理論的予測と実験的観察を比較することで、高速平衡仮説の妥当性を評価する。
• 正規化層が引き起こす非線形的かつ自己適合的な挙動を考慮した、古典的最適化フレームワークの拡張を行う。

実験結果

リサーチクエスチョン

• RQ1 正規化された深層ネットワークの挙動は、古典的最適化理論からどのように逸脱しているか？
• RQ2 内在的学習率は、正規化ネットワークにおける学習の速度と均衡化をどのように制御しているか？
• RQ3 関数空間における平衡に達するまでの時間は、高速平衡仮説が示唆するように、内在的学習率に反比例するか？
• RQ4 学習開始時に大きな学習率が必要であるという広く共有されている信念は、理論的および実験的に裏付けられているか？
• RQ5 バッチ正規化の有効性は、内在的学習率によって制御される高速な均衡化の観点から説明可能か？

主な発見

• 学習率と重み減衰の積として定義される内在的学習率は、正規化ネットワークにおける学習の有効な速度と均衡化を支配する。
• 関数空間における平衡に達するまでの時間が、内在的学習率に反比例することを示し、高速平衡仮説を支持する。
• 実験的結果から、標準的なSDE収束境界が示唆する指数的時間スケーリングとは対照的に、平衡に達するまでの時間が著しく速いことが判明した。
• 本研究は、学習開始時に大きな学習率を必要とするという一般的な常識を疑問視する。
• 理論的および実験的証拠から、バッチ正規化の成功は、内在的学習率の制御によって高速な均衡化を可能にする点に起因している可能性が示唆された。