[論文レビュー] On the Heavy-Tailed Theory of Stochastic Gradient Descent for Deep Neural Networks

Umut Şimşekli, Mert Gürbüzbalaban+3 more|arXiv (Cornell University)|Nov 29, 2019

Stochastic Gradient Optimization Techniques参考文献 90被引用数 22

ひとこと要約

この論文は、深層学習における確率的勾配ノイズ（GN）がガウス分布であるという一般的な仮定に挑戦し、代わりにGNが重たい尾を持つ$α$-安定分布に従うと提案する。SGDをLévy駆動の確率微分方程式（SDE）の離散化としてモデル化することで、尾が重い（$α$が小さい）ほど収束速度が遅くなることを示し、メタ安定性理論を用いてSGDが広い極小値を好む理由を説明する。この仮説は、アーキテクチャ、データセット、損失関数の多様な設定において実証的に検証されている。

ABSTRACT

The gradient noise (GN) in the stochastic gradient descent (SGD) algorithm is often considered to be Gaussian in the large data regime by assuming that the \emph{classical} central limit theorem (CLT) kicks in. This assumption is often made for mathematical convenience, since it enables SGD to be analyzed as a stochastic differential equation (SDE) driven by a Brownian motion. We argue that the Gaussianity assumption might fail to hold in deep learning settings and hence render the Brownian motion-based analyses inappropriate. Inspired by non-Gaussian natural phenomena, we consider the GN in a more general context and invoke the \emph{generalized} CLT, which suggests that the GN converges to a \emph{heavy-tailed} $α$-stable random vector, where \emph{tail-index} $α$ determines the heavy-tailedness of the distribution. Accordingly, we propose to analyze SGD as a discretization of an SDE driven by a Lévy motion. Such SDEs can incur `jumps', which force the SDE and its discretization \emph{transition} from narrow minima to wider minima, as proven by existing metastability theory and the extensions that we proved recently. In this study, under the $α$-stable GN assumption, we further establish an explicit connection between the convergence rate of SGD to a local minimum and the tail-index $α$. To validate the $α$-stable assumption, we conduct experiments on common deep learning scenarios and show that in all settings, the GN is highly non-Gaussian and admits heavy-tails. We investigate the tail behavior in varying network architectures and sizes, loss functions, and datasets. Our results open up a different perspective and shed more light on the belief that SGD prefers wide minima.

研究の動機と目的

• SGDにおける勾配ノイズ（GN）がガウス分布であるという広く一般的な仮定に挑戦すること、特に深層ニューラルネットワークにおいて。
• 一般化中心極限定理に従い、GNがガウス分布ではなく$α$-安定分布に収束する新しい理論的枠組みを提案すること。
• SGDをLévy運動によって駆動されるSDEの離散化としてモデル化し、拡散的ブラウン運動の代わりにジャンプを伴うダイナミクスを可能にすること。
• GNの尾指数$α$とSGDが局所的極小値に収束する速度との間の定量的関係を確立すること。
• さまざまなネットワークアーキテクチャ、損失関数、データセット、学習設定において、GNの重たい尾の性質を実証的に検証すること。

提案手法

• 一般化中心極限定理に根ざした理論的分析により、分散が無限大である場合にGNが$α$-安定分布に収束することを正当化する。
• SGDをLévy運動によって駆動される連続時間SDEの離散時間近似としてモデル化し、拡散的ブラウン運動の代わりにジャンプを伴うダイナミクスを可能にする。
• メタ安定性理論を適用し、大きなジャンプにより、狭い極小値からより広い極小値への遷移が可能であることを示す。
• $α$-安定GNの仮定の下で収束速度の分析を導出し、$α$が小さくなる（尾が重くなる）ほど収束が遅くなることを示す。
• 実験的勾配ノイズのサンプルを用いて、ヒル推定法により尾指数$α$を推定する。
• ネットワークサイズ、ミニバッチサイズ、学習段階を系統的に変化させ、アーキテクチャやデータセットをまたいで尾の挙動を評価する実験を実施する。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークにおけるSGDの勾配ノイズは、古典的なガウス仮定に反して重たい尾を持つ挙動を示すか？
• RQ2 勾配ノイズ分布の尾指数$α$は、SGDの収束速度にどのように影響するか？
• RQ3 SGDをLévy駆動のSDEの離散化としてモデル化することで、深層学習における狭い極小値を避け、広い極小値を好む傾向を説明できるか？
• RQ4 GNの重たい尾の性質は、さまざまなネットワークアーキテクチャ、損失関数、データセットに対してどれほど頑健か？
• RQ5 尾指数$α$と訓練済みモデルの一般化性能との間に測定可能な関係があるか？

主な発見

• 実証的結果により、すべてのテストされた深層学習設定における勾配ノイズが顕著に非ガウス的であり、重たい尾の挙動を示すことが確認された。尾指数$α$は常に2未満であった。
• 尾指数$α$は、ネットワークサイズ、アーキテクチャ、データセットの変化に対しても頑健であり、GNの普遍的な重たい尾の性質を示している。
• 小さなミニバッチサイズは、より重たい尾（$α$が小さい）をもたらし、ノイズのランダム性と重たい尾のノイズとの直接的な関連を示唆している。
• SGDの収束速度が$α$に明示的に依存しており、尾が重いほど収束が遅くなることが、理論的分析と一致して示された。
• 理論的および実証的結果は、Lévy駆動のダイナミクスがSGDが狭い極小値から脱出し、より広く一般化性能の高い解に収束することを可能にするとする仮説を支持している。