[論文レビュー] Fractional Underdamped Langevin Dynamics: Retargeting SGD with Momentum under Heavy-Tailed Gradient Noise

Umut Şimşekli, Lingjiong Zhu+2 more|arXiv (Cornell University)|Feb 13, 2020

Markov Chains and Monte Carlo Methods参考文献 57被引用数 13

ひとこと要約

本稿では、勾配ノイズの重たい尾部（heavy-tailed）特性が勾配降下法にモーメンタムを適用する際（SGDm）に生じるバイアスを是正する、新しい連続時間最適化フレームワークである分数下駆動ランジュバンダイナミクス（FULD）を提案する。ノイズをα安定Lévy飛行としてモデル化し、分数SDEを導出することで、定常分布が真の損失最適解と一致することを保証し、一般化性能の向上を実現する。CIFAR-10ではα=1.75で最大4.5%の精度向上、MNISTでは2%の向上が実証的に確認された。

ABSTRACT

Stochastic gradient descent with momentum (SGDm) is one of the most popular optimization algorithms in deep learning. While there is a rich theory of SGDm for convex problems, the theory is considerably less developed in the context of deep learning where the problem is non-convex and the gradient noise might exhibit a heavy-tailed behavior, as empirically observed in recent studies. In this study, we consider a \emph{continuous-time} variant of SGDm, known as the underdamped Langevin dynamics (ULD), and investigate its asymptotic properties under heavy-tailed perturbations. Supported by recent studies from statistical physics, we argue both theoretically and empirically that the heavy-tails of such perturbations can result in a bias even when the step-size is small, in the sense that \emph{the optima of stationary distribution} of the dynamics might not match \emph{the optima of the cost function to be optimized}. As a remedy, we develop a novel framework, which we coin as \emph{fractional} ULD (FULD), and prove that FULD targets the so-called Gibbs distribution, whose optima exactly match the optima of the original cost. We observe that the Euler discretization of FULD has noteworthy algorithmic similarities with \emph{natural gradient} methods and \emph{gradient clipping}, bringing a new perspective on understanding their role in deep learning. We support our theory with experiments conducted on a synthetic model and neural networks.

研究の動機と目的

• 深層学習で観測される重たい尾部の勾配ノイズが引き起こすSGDmにおけるバイアスを是正すること。
• 連続時間最適化フレームワークを構築し、ギブス分布を正確にターゲットにすることで、元の目的関数の最適解と一致するようにすること。
• 非ガウス的ノイズ、特にα安定分布下でのモーメンタムベース最適化の理論的ギャップを埋めること。
• FULDのEuler離散化を通じて、勾配クリッピングや自然勾配法といった実用的手法の成功を原理的かつ一貫した形で説明すること。

提案手法

• 深層学習で観測される重たい尾部の挙動を捉えるために、α ∈ (1,2) のα安定Lévy過程（SαS）として確率的勾配ノイズをモデル化する。
• 一般化されたフォッカー・プランク方程式を用いて、分数下駆動ランジュバンダイナミクス（FULD）を導出し、不変測度が exp(−β(f(x) + ||v||²/2)) となるように保証する。
• やや弱い条件下でも、FULDのEuler-Maruyama離散化が連続時間過程に弱収束することを確立する。
• 効率的な実装のため、事前計算された一次元SαS密度関数と線形補間を用いて、分数勾配 ∇Gα を近似する。
• FULDのEuler離散化と既存の深層学習実装との関係を明らかにし、自然勾配法や勾配クリッピングと類似したアルゴリズム的構造を持つことを示す。
• MNISTおよびCIFAR-10を用いた全結合ニューラルネットワークを対象に、さまざまなネットワーク幅とα値を用いて、合成モデルおよび実験的評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 SGDmにおける重たい尾部の勾配ノイズは、小さなステップサイズであっても定常分布にバイアスをもたらすか？
• RQ2 その不変分布が元の損失関数のギブス測度と正確に一致するような分数SDEを構築可能か？
• RQ3 提案されたFULDフレームワークのEuler離散化は、勾配クリッピングや自然勾配法といった実用的最適化手法とどのように関係するか？
• RQ4 重たい尾部ノイズ下でのニューラルネットワーク学習において、一般化性能を最適化するα安定インデックスの値は何か？

主な発見

• 重たい尾部ノイズを伴う標準的な下駆動ランジュエルダイナミクス（ULD）では、ギブス分布を正しくターゲットにできず、定常分布に系統的なバイアスが生じる。
• FULDはギブス分布を正確にターゲットにでき、定常分布の最適解が元の損失関数の最適解と完全に一致することを保証する。
• MNISTでは、FULDのα=1.75で標準的なSGDmに比べて2%高いテスト精度を達成し、幅256の際が最良の性能を示した。
• CIFAR-10では、FULDのα=1.75でベースラインのSGDmに比べて4.5%高いテスト精度を達成し、重たい尾部ノイズ下での一般化性能の顕著な向上を示した。
• FULDの性能はネットワーク幅に敏感である：幅512ではα=2（ガウス分布）が最良の性能を示し、広いネットワークではノイズがガウス分布に近づく傾向があることが示唆された。
• FULDのEuler離散化は、勾配クリッピングや自然勾配法と構造的に類似しており、それらの実用的成績の背後にある理論的根拠を新たな視点から提供する。