[论文解读] Fractional Underdamped Langevin Dynamics: Retargeting SGD with Momentum under Heavy-Tailed Gradient Noise

Umut Şimşekli, Lingjiong Zhu+2 more|arXiv (Cornell University)|Feb 13, 2020

Markov Chains and Monte Carlo Methods参考文献 57被引用 13

一句话总结

本文提出分数阶欠阻尼朗之万动力学（FULD），一种新颖的连续时间优化框架，可校正随机梯度下降动量（SGDm）中由重尾梯度噪声引入的偏差。通过将噪声建模为α稳定Lévy运动并推导出分数阶SDE，FULD确保平稳分布与真实损失最优解一致，从而提升泛化性能——在CIFAR-10上实证验证中最高实现4.5%的准确率提升，在MNIST上实现2%的提升，α=1.75时表现最优。

ABSTRACT

Stochastic gradient descent with momentum (SGDm) is one of the most popular optimization algorithms in deep learning. While there is a rich theory of SGDm for convex problems, the theory is considerably less developed in the context of deep learning where the problem is non-convex and the gradient noise might exhibit a heavy-tailed behavior, as empirically observed in recent studies. In this study, we consider a \emph{continuous-time} variant of SGDm, known as the underdamped Langevin dynamics (ULD), and investigate its asymptotic properties under heavy-tailed perturbations. Supported by recent studies from statistical physics, we argue both theoretically and empirically that the heavy-tails of such perturbations can result in a bias even when the step-size is small, in the sense that \emph{the optima of stationary distribution} of the dynamics might not match \emph{the optima of the cost function to be optimized}. As a remedy, we develop a novel framework, which we coin as \emph{fractional} ULD (FULD), and prove that FULD targets the so-called Gibbs distribution, whose optima exactly match the optima of the original cost. We observe that the Euler discretization of FULD has noteworthy algorithmic similarities with \emph{natural gradient} methods and \emph{gradient clipping}, bringing a new perspective on understanding their role in deep learning. We support our theory with experiments conducted on a synthetic model and neural networks.

研究动机与目标

• 解决SGDm中由重尾梯度噪声引起的偏差问题，该偏差会使平稳分布偏离真实损失最优解。
• 开发一种连续时间优化框架，精确地针对Gibbs分布，确保与原始代价函数的最优解对齐。
• 弥合在非高斯噪声（特别是α稳定分布）下基于动量的优化理论理解中的空白。
• 通过FULD的欧拉离散化，为梯度裁剪和自然梯度方法等实用技术提供原则性解释。

提出的方法

• 将随机梯度噪声建模为α稳定Lévy过程（SαS），其中α ∈ (1,2)，以捕捉深度学习中观察到的重尾行为。
• 通过广义Fokker-Planck方程推导出分数阶欠阻尼朗之万动力学（FULD），确保不变测度为Gibbs分布exp(−β(f(x) + ||v||²/2))。
• 在较弱条件下，建立FULD的欧拉-丸山离散化过程对连续时间过程的弱收敛性。
• 通过预计算的一维SαS密度和线性插值近似分数阶梯度∇Gα，实现高效计算。
• 将FULD的欧拉离散化与现有深度学习实践相关联，表明其在算法结构上与自然梯度和梯度裁剪方法相似。
• 在合成模型和全连接神经网络上对框架进行验证，使用MNIST和CIFAR-10数据集，测试不同网络宽度和α值下的性能。

实验结果

研究问题

• RQ1 在SGDm中，即使步长较小，重尾梯度噪声是否仍会在平稳分布中引入偏差？
• RQ2 能否构建一个分数阶SDE，使其平稳分布恰好与原始损失函数的Gibbs测度一致？
• RQ3 所提出的FULD框架的欧拉离散化与梯度裁剪和自然梯度方法等实际深度学习优化技术之间有何关系？
• RQ4 在重尾噪声下，α稳定指数的何种取值能最优地提升神经网络训练的泛化性能？

主要发现

• 标准欠阻尼朗之万动力学（ULD）在重尾噪声下无法准确针对Gibbs分布，导致平稳分布中存在系统性偏差。
• FULD成功地针对Gibbs分布，确保平稳分布的最优解与原始损失函数的最优解完全对齐。
• 在MNIST上，将FULD中的α设为1.75可使测试准确率比标准SGDm高出2%，最佳性能出现在宽度为256时。
• 在CIFAR-10上，FULD在α=1.75时相比基线SGDm实现了4.5%的测试准确率提升，表明在重尾噪声下具有显著的泛化优势。
• FULD的性能对网络宽度敏感：当宽度为512时，α=2（高斯分布）表现最佳，表明在更宽的网络中噪声可能趋向于高斯分布。
• FULD的欧拉离散化在结构上与梯度裁剪和自然梯度方法相似，为这些方法的实证成功提供了新的理论视角。