[論文レビュー] A Diffusion Theory For Deep Learning Dynamics: Stochastic Gradient Descent Exponentially Favors Flat Minima

Zeke Xie, Issei Sato+1 more|arXiv (Cornell University)|Feb 10, 2020

Stochastic Gradient Optimization Techniques参考文献 62被引用数 26

ひとこと要約

本稿は、深層学習における確率的勾配降下法（SGD）が平坦な極小値をなぜ指数関数的に好むのかを説明する密度拡散理論（DDT）を開発する。勾配ノイズのヘッセ行列に依存する分散をモデル化することで、理論的にSGDが鋭い極小値よりも平坦な極小値を指数関数的に好むことを証明する。これは、白色ノイズを伴う勾配降下法とは異なり、平坦な極小値を多項式的にしか好まないのとは対照的である。また、大バッチサイズまたは小さな学習率を用いた学習では、極小値から脱出するのに指数関数的に多くのステップを要することを示している。

ABSTRACT

Stochastic Gradient Descent (SGD) and its variants are mainstream methods for training deep networks in practice. SGD is known to find a flat minimum that often generalizes well. However, it is mathematically unclear how deep learning can select a flat minimum among so many minima. To answer the question quantitatively, we develop a density diffusion theory (DDT) to reveal how minima selection quantitatively depends on the minima sharpness and the hyperparameters. To the best of our knowledge, we are the first to theoretically and empirically prove that, benefited from the Hessian-dependent covariance of stochastic gradient noise, SGD favors flat minima exponentially more than sharp minima, while Gradient Descent (GD) with injected white noise favors flat minima only polynomially more than sharp minima. We also reveal that either a small learning rate or large-batch training requires exponentially many iterations to escape from minima in terms of the ratio of the batch size and learning rate. Thus, large-batch training cannot search flat minima efficiently in a realistic computational time.

研究の動機と目的

• 深層学習におけるSGDが一貫して一般化性能の良い平坦な極小値を発見する理由という長年の問いを解消すること。
• 極小値選択が鋭さ、バッチサイズ、学習率、勾配ノイズ構造にどのように依存するかを定量化する理論を構築すること。
• DDTが、非等方的かつヘッセ行列に依存するノイズのおかげで、SGDが鋭い極小値よりも平坦な極小値を指数関数的に好むことを形式的に確立すること。これは、等方的ノイズモデルとは対照的である。
• バッチサイズと学習率の比に依存する脱出時間の指数関数的依存性を明らかにし、大バッチサイズ学習の非効率性を説明すること。

提案手法

• SGDにおけるパラメータ分布の時間発展をモデル化する密度拡散理論（DDT）を提案し、力学を拡散過程として扱う。
• 確率的勾配ノイズ（SGN）の分散をヘッセ行列に比例し、バッチサイズに反比例するようにモデル化することで、非等方的かつパラメータ依存の性質を捉える。
• ヘッセ行列式の行列式を介して極小値の鋭さと関連する、学習率とバッチサイズの逆数に指数関数的に依存する平均脱出時間の公式を導出する。
• パラメータ密度の時間発展を記述するためのフォッカー・プランク方程式を用い、極小値選択確率の分析を可能にする。
• 非凸関数、ロジスティック回帰、深層MLPを用いた実験を通じて理論的予測の妥当性を検証する。
• 実験的に、理論が予測するように、極小値の鋭さ、バッチサイズ、学習率が増加するにつれて脱出率が指数関数的に減少することを確認する。

実験結果

リサーチクエスチョン

• RQ1 深層学習におけるSGDが、多数の局所的極小値が存在する中でなぜ平坦な極小値を好むのか？
• RQ2 特にヘッセ行列に依存する勾配ノイズの構造が、SGDにおける極小値選択にどのように影響するのか？
• RQ3 極小値からの脱出時間とハイパーパrameter（学習率、バッチサイズ）との間の定量的関係は何か？
• RQ4 SGDによる平坦な極小値の指数的選好は、等方的ノイズを伴う勾配降下法による多項式的選好と比べてどのように異なるのか？
• RQ5 大バッチサイズ学習が、低ノイズ強度に起因する緩やかな脱出ダイナミクスのため、平坦な極小値を効率的に探索できない程度にどの程度まで失敗するのか？

主な発見

• SGDは、勾配ノイズのヘッセ行列に依存する分散のおかげで、非等方的かつパラメータ依存的であるため、鋭い極小値よりも平坦な極小値を指数関数的に好む。
• 極小値からの平均脱出時間は、学習率の逆数およびバッチサイズの増加に伴い指数関数的に増加する。これは、大バッチサイズまたは小さな学習率を用いた学習が、極小値から脱出するのに指数関数的に多くの反復回数を要することを意味する。
• 極小値の鋭さが第二階微分係数またはヘッセ行列式で測定されるほど、極小値からの脱出率は指数関数的に減少する。
• スタイブリンスキー＝タング関数、ロジスティック回帰、深層MLPを用いた実験的検証により理論的予測が確認された。-log(脱出率)は、η（学習率）、B（バッチサイズ）、k（鋭さ）に対して線形である。
• 等方的白色ノイズを伴う勾配降下法は、平坦な極小値を鋭い極小値よりも多項式的にしか好まないのに対し、SGDは指数関数的に好む。これは、ノイズ構造の重要性を強調する。
• 理論により、大バッチサイズ学習が一般化性能の良い極小値を効率的に発見できない理由が説明される。低ノイズ強度のため、システムは極小値に指数関数的に長い時間にわたり閉じ込められる。