[论文解读] First Exit Time Analysis of Stochastic Gradient Descent Under Heavy-Tailed Gradient Noise

Thanh Huy Nguyen, Umut Şimşekli+2 more|arXiv (Cornell University)|Jun 21, 2019

Markov Chains and Monte Carlo Methods参考文献 42被引用 11

一句话总结

本文通过将噪声建模为 $\alpha$-稳定 Lévy 过程，对重尾梯度噪声下的随机梯度下降（SGD）进行了理论分析。推导出离散时间 SGD 从其连续时间 SDE 极限继承亚稳态行为的显式步长条件，表明小步长可确保两系统在首次 hitting 时间动力学上相似，且误差界取决于算法与问题参数。

ABSTRACT

Stochastic gradient descent (SGD) has been widely used in machine learning due to its computational efficiency and favorable generalization properties. Recently, it has been empirically demonstrated that the gradient noise in several deep learning settings admits a non-Gaussian, heavy-tailed behavior. This suggests that the gradient noise can be modeled by using $α$-stable distributions, a family of heavy-tailed distributions that appear in the generalized central limit theorem. In this context, SGD can be viewed as a discretization of a stochastic differential equation (SDE) driven by a Lévy motion, and the metastability results for this SDE can then be used for illuminating the behavior of SGD, especially in terms of `preferring wide minima'. While this approach brings a new perspective for analyzing SGD, it is limited in the sense that, due to the time discretization, SGD might admit a significantly different behavior than its continuous-time limit. Intuitively, the behaviors of these two systems are expected to be similar to each other only when the discretization step is sufficiently small; however, to the best of our knowledge, there is no theoretical understanding on how small the step-size should be chosen in order to guarantee that the discretized system inherits the properties of the continuous-time system. In this study, we provide formal theoretical analysis where we derive explicit conditions for the step-size such that the metastability behavior of the discrete-time system is similar to its continuous-time limit. We show that the behaviors of the two systems are indeed similar for small step-sizes and we identify how the error depends on the algorithm and problem parameters. We illustrate our results with simulations on a synthetic model and neural networks.

研究动机与目标

• 理解当梯度噪声表现出深度学习中常见的重尾、非高斯特性时，SGD 的行为。
• 弥合在重尾噪声下，SGD 的连续时间 SDE 极限与其离散时间对应物之间的差距。
• 正式推导出步长条件，使得离散 SGD 能够继承连续 SDE 的亚稳态特性。
• 量化离散系统与连续系统在首次 hitting 时间分布上的误差。
• 通过合成模型和神经网络上的模拟验证理论发现。

提出的方法

• 使用对称 $\alpha$-稳定分布 ($\mathcal{S}\alpha\mathcal{S}$) 建模 SGD 中的梯度噪声，推广了高斯假设。
• 将 SGD 的连续时间极限表示为由 $\alpha$-稳定 Lévy 运动驱动的随机微分方程（SDE）。
• 采用 Girsanov 类型的测度变换，比较连续与离散过程的分布。
• 在不同 $\lambda$-范数下，利用 Minkowski 和 H"older 不等式推导离散过程的矩界。
• 通过矩控制与渐近分析，建立离散与连续过程首次 hitting 时间之间误差界。
• 采用数值模拟在不同 $\alpha$、$\varepsilon$、$\sigma$ 和维度 $d$ 下验证理论预测。

实验结果

研究问题

• RQ1 在重尾梯度噪声下，离散时间 SGD 在何种条件下会继承其连续时间 SDE 极限的亚稳态行为？
• RQ2 步长 $\eta$ 需多小，才能确保离散 SGD 的首次 hitting 时间分布近似于连续 SDE 的分布？
• RQ3 离散与连续系统之间的误差对 $\eta$、$\alpha$、$\sigma$ 和问题维度 $d$ 的定量依赖关系如何？
• RQ4 在 $\ell^\lambda$-范数下，$\lambda > 1$ 和 $\lambda \leq 1$ 时，离散过程的矩界行为如何？
• RQ5 模拟在合成模型与神经网络设置下，在多大程度上验证了理论步长条件？

主要发现

• 本文确立了当步长 $\eta$ 足够小时，离散 SGD 在 $\alpha$-稳定噪声下能继承连续 SDE 极限的亚稳态特性。
• 推导出显式误差界，表明首次 hitting 时间分布差异的衰减速率取决于范数与噪声结构，分别为 $\eta^{1/\alpha}$ 和 $\eta^{1/2}$。
• 分析表明，误差依赖于尾指数 $\alpha$、噪声尺度 $\sigma$ 和维度 $d$，重尾性更强（$\alpha < 2$）时需更小的 $\eta$ 以实现向连续极限的收敛。
• 通过 Minkowski 和 H"older 不等式控制离散过程的矩界，采用 $\ell^\lambda$-范数以处理非高斯矩。
• 模拟结果在 $\alpha \in \{1.2, 1.4, 1.6, 1.8\}$、$\varepsilon$、$\sigma$ 和 $d$ 变化下均与理论预测一致，表现出一致的行为。
• 结果验证了当 $\eta$ 较小时，离散系统的首次 hitting 时间行为与连续 SDE 高度匹配，尤其在重尾噪声下。