[論文レビュー] A Diffusion Theory for Deep Learning Dynamics: Stochastic Gradient Descent Escapes From Sharp Minima Exponentially Fast.

Zeke Xie, Issei Sato+1 more|arXiv (Cornell University)|Feb 10, 2020

Stochastic Gradient Optimization Techniques参考文献 2被引用数 12

ひとこと要約

本稿では、ヘッセ行列に依存するノイズ共分散のおかげで、確率的勾配降下法（SGD）が極小解のうち、鋭い極小解よりもフラットな極小解を指数的に多く選ぶ理由を説明する密度拡散理論（DDT）を提案する。SGDは鋭い極小解から指数的に速く脱出するが、白色ノイズを用いた勾配降下法（GD）は多項式的にしか脱出せず、大バッチサイズでの学習はフラットな極小解に到達するのに指数的多くのステップを要するため、実用上は非効率であることを示している。

ABSTRACT

Stochastic Gradient Descent (SGD) and its variants are mainstream methods for training deep networks in practice. SGD is known to find a flat minimum that often generalizes well. However, it is mathematically unclear how deep learning can select a flat minimum among so many minima. To answer the question quantitatively, we develop a density diffusion theory (DDT) to reveal how minima selection quantitatively depends on the minima sharpness and the hyperparameters. To the best of our knowledge, we are the first to theoretically and empirically prove that, benefited from the Hessian-dependent covariance of stochastic gradient noise, SGD favors flat minima exponentially more than sharp minima, while Gradient Descent (GD) with injected white noise favors flat minima only polynomially more than sharp minima. We also reveal that either a small learning rate or large-batch training requires exponentially many iterations to escape from minima in terms of the ratio of the batch size and learning rate. Thus, large-batch training cannot search flat minima efficiently in a realistic computational time.

研究の動機と目的

• SGDが一般化性能が良いフラットな極小解を選択する理由を定量的に説明すること。
• 確率的勾配ノイズが深層学習における極小解選択に与える数学的メカニズムを明確にすること。
• SGDと白色ノイズを用いたGDの間で、鋭い極小解からの脱出における効率性（収束速度）を比較すること。
• 特に現実的な時間制約下での、大バッチサイズでの学習におけるフラットな極小解に到達するための計算コストを調査すること。

提案手法

• SGDの確率的ダイナミクスを損失関数の地形における拡散過程としてモデル化するため、密度拡散理論（DDT）を構築する。
• SGDのスデ（確率的微分方程式）から導かれるフォッカー・プランク方程式を解析し、極小解からの脱出速度を、極小解の鋭さとノイズ共分散に基づいて定量化する。
• 勾配の曲率依存的行動を捉えるために、ノイズ共分散にヘッセ行列を組み込む。
• 極小解からの脱出時間の解析的表現を導出し、極小解の鋭さおよびバッチサイズと学習率の比に指数的依存があることを示す。
• ヘッセ行列に依存するノイズを用いたSGDの脱出ダイナミクスと、白色ノイズを用いたGDの脱出ダイナミクスを比較し、多項式的スケーリングと指数的スケーリングの違いを明らかにする。

実験結果

リサーチクエスチョン

• RQ1 極小解の曲率（鋭さ）は、SGDがその極小解から脱出するまでの時間にどのように影響するか？
• RQ2 なぜSGDは鋭い極小解よりもフラットな極小解を好むのか？その背後にある数学的メカニズムは何か？
• RQ3 バッチサイズと学習率の比は、大バッチサイズでの学習において極小解からの脱出にかかる計算コストにどのように影響するか？
• RQ4 ヘッセ行列に依存するノイズを用いたSGDと白色ノイズを用いたGDとの間で、脱出効率にどのような差があるか？

主な発見

• ヘッセ行列に依存するノイズ共分散のおかげで、SGDは鋭い極小解からフラットな極小解よりも指数的に速く脱出する。
• これに対して、白色ノイズを用いたGDは、フラットな極小解を鋭い極小解よりも多項式的にしか好まないため、選択メカニズムがはるかに弱い。
• 大バッチサイズでの学習は、極小解からの脱出に指数的多くの反復を要するため、現実的な時間内にフラットな極小解に到達することは非効率である。
• 極小解からの脱出時間は、バッチサイズと学習率の比に指数的に依存する。これは、学習ハイパーパrameter間の根本的なトレードオフを示している。