[論文レビュー] First Exit Time Analysis of Stochastic Gradient Descent Under Heavy-Tailed Gradient Noise

Thanh Huy Nguyen, Umut Şimşekli+2 more|arXiv (Cornell University)|Jun 21, 2019

Markov Chains and Monte Carlo Methods参考文献 42被引用数 11

ひとこと要約

本稿は、勾配ノイズが重尾を持つ場合の確率的勾配降下法（SGD）の理論的分析を提供する。ノイズを$\alpha$-安定なレヴィ過程としてモデル化し、離散時間のSGDが連続時間のSDE極限の準安定性をどのように継承するかを明らかにする。小さなステップサイズの下で、2系統のシステム間の抜出自時刻ダイナミクスの類似性が保証され、誤差境界はアルゴリズムおよび問題パラメータに依存する。

ABSTRACT

Stochastic gradient descent (SGD) has been widely used in machine learning due to its computational efficiency and favorable generalization properties. Recently, it has been empirically demonstrated that the gradient noise in several deep learning settings admits a non-Gaussian, heavy-tailed behavior. This suggests that the gradient noise can be modeled by using $α$-stable distributions, a family of heavy-tailed distributions that appear in the generalized central limit theorem. In this context, SGD can be viewed as a discretization of a stochastic differential equation (SDE) driven by a Lévy motion, and the metastability results for this SDE can then be used for illuminating the behavior of SGD, especially in terms of `preferring wide minima'. While this approach brings a new perspective for analyzing SGD, it is limited in the sense that, due to the time discretization, SGD might admit a significantly different behavior than its continuous-time limit. Intuitively, the behaviors of these two systems are expected to be similar to each other only when the discretization step is sufficiently small; however, to the best of our knowledge, there is no theoretical understanding on how small the step-size should be chosen in order to guarantee that the discretized system inherits the properties of the continuous-time system. In this study, we provide formal theoretical analysis where we derive explicit conditions for the step-size such that the metastability behavior of the discrete-time system is similar to its continuous-time limit. We show that the behaviors of the two systems are indeed similar for small step-sizes and we identify how the error depends on the algorithm and problem parameters. We illustrate our results with simulations on a synthetic model and neural networks.

研究の動機と目的

• 深層学習で一般的に見られる非ガウス的で重尾を持つ勾配ノイズを有する場合のSGDの挙動を理解すること。
• 重尾ノイズ下で、SGDの連続時間SDE極限とその離散時間対応物との間のギャップを埋めること。
• 離散SGDが連続SDEの準安定性特性を継承するようにするためのステップサイズに関する明示的条件を形式的に導出すること。
• 離散系と連続系の間の誤差を、抜出自時刻分布の観点から定量化すること。
• 合成モデルおよびニューラルネットワークにおけるシミュレーションを通じて理論的発見を検証すること。

提案手法

• 勾配ノイズを対称$\alpha$-安定分布（$\mathcal{S}\alpha\mathcal{S}$）としてモデル化し、ガウス分布仮定を一般化する。
• SGDの連続時間極限を、$\alpha$-安定なレヴィ運動によって駆動される確率微分方程式（SDE）として表現する。
• 連続過程と離散過程の確率測度を比較するために、ギルサノフ型の測度変換を用いる。
• 異なる$\lambda$-ノルム下で、ミンコフスキーおよびホルダーの不等式を用いて離散過程のモーメントバウンドを導出する。
• モーメント制御と漸近的解析を用いて、離散系と連続系の抜出自時刻の間の誤差バウンドを確立する。
• 数値的シミュレーションを用いて、$\alpha$、$\varepsilon$、$\sigma$、次元$d$の変動にわたる理論的予測の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 重尾勾配ノイズ下で、離散時間SGDがその連続時間SDE極限の準安定性をどの条件下で継承するか？
• RQ2 ステップサイズ$\eta$はどの程度小さくすれば、離散SGDの抜出自時刻分布が連続SDEのものと近似されるか？
• RQ3 離散系と連続系の誤差は、$\eta$、$\alpha$、$\sigma$、および問題次元$d$にどのように定量的に依存するか？
• RQ4 離散過程のモーメントバウンドは、$\lambda > 1$および$\lambda \leq 1$の$\ell^\lambda$-ノルム下でどのように振る舞うか？
• RQ5 シミュレーションは、合成的およびニューラルネットワーク設定において理論的ステップサイズ条件をどの程度確認するか？

主な発見

• 本稿は、十分に小さなステップサイズ$\eta$の下で、離散SGDが$\alpha$-安定ノイズ下で連続SDE極限の準安定性を継承することを確立した。
• 明示的な誤差バウンドが導出され、抜出自時刻分布の差がノルムおよびノイズ構造に応じて$\eta^{1/\alpha}$および$\eta^{1/2}$の速度で減少することが示された。
• 解析により、誤差は尾指数$\alpha$、ノイズスケール$\sigma$、次元$d$に依存し、より重い尾（$\alpha < 2$）では連続極限への収束を確保するための$\eta$が小さくなければならないことが明らかになった。
• 離散過程のモーメントバウンドは、ミンコフスキーおよびホルダーの不等式を用いて制御され、非ガウス的モーメントを扱うために$\ell^\lambda$-ノルムが用いられた。
• シミュレーションにより、$\alpha \in \{1.2, 1.4, 1.6, 1.8\}$、$\varepsilon$、$\sigma$、$d$の変動にわたる理論的予測が一貫して確認された。
• 結果として、$\eta$が小さい場合、特に重尾ノイズ下では、離散系の抜出自時刻挙動が連続SDEと非常に近いことが確認された。