[论文解读] A Diffusion Theory for Deep Learning Dynamics: Stochastic Gradient Descent Escapes From Sharp Minima Exponentially Fast.

Zeke Xie, Issei Sato+1 more|arXiv (Cornell University)|Feb 10, 2020

Stochastic Gradient Optimization Techniques参考文献 2被引用 12

一句话总结

本文提出了密度扩散理论（DDT），用以解释为何随机梯度下降（SGD）会比尖锐极小值更指数地偏好平坦极小值，原因在于依赖Hessian矩阵的噪声协方差。该理论证明，SGD会以指数速度逃离尖锐极小值，而使用白噪声的梯度下降（GD）仅以多项式速度逃离，且表明大批次训练需要指数级多的步数才能到达平坦极小值，这在实际中限制了效率。

ABSTRACT

Stochastic Gradient Descent (SGD) and its variants are mainstream methods for training deep networks in practice. SGD is known to find a flat minimum that often generalizes well. However, it is mathematically unclear how deep learning can select a flat minimum among so many minima. To answer the question quantitatively, we develop a density diffusion theory (DDT) to reveal how minima selection quantitatively depends on the minima sharpness and the hyperparameters. To the best of our knowledge, we are the first to theoretically and empirically prove that, benefited from the Hessian-dependent covariance of stochastic gradient noise, SGD favors flat minima exponentially more than sharp minima, while Gradient Descent (GD) with injected white noise favors flat minima only polynomially more than sharp minima. We also reveal that either a small learning rate or large-batch training requires exponentially many iterations to escape from minima in terms of the ratio of the batch size and learning rate. Thus, large-batch training cannot search flat minima efficiently in a realistic computational time.

研究动机与目标

• 定量解释为何SGD在存在众多极小值的情况下仍会选择泛化性能良好的平坦极小值。
• 阐明随机梯度噪声如何在数学上影响深度学习中极小值的选择机制。
• 比较SGD与使用白噪声的GD在逃离尖锐极小值方面的效率，特别是收敛速度的差异。
• 研究在实际时间约束下，大批次训练在到达平坦极小值时的计算成本。

提出的方法

• 构建密度扩散理论（DDT），将SGD的随机动力学建模为损失曲面中的扩散过程。
• 分析由SGD的随机微分方程（SDE）导出的福克-普朗克方程，基于极小值的尖锐度和噪声协方差量化其逃离速率。
• 将Hessian矩阵引入噪声协方差，以捕捉随机梯度的曲率依赖行为。
• 推导出从极小值逃离时间的解析表达式，表明其与极小值尖锐度及批次大小与学习率之比呈指数关系。
• 比较SGD与Hessian依赖噪声的逃离动力学，以及GD与白噪声的对比，揭示了多项式与指数尺度的差异。

实验结果

研究问题

• RQ1 极小值的曲率（尖锐度）如何影响SGD从该极小值逃离的时间？
• RQ2 为何SGD偏好平坦极小值而非尖锐极小值？其背后的数学机制是什么？
• RQ3 批次大小与学习率的比值如何影响大批次训练中逃离极小值的计算成本？
• RQ4 SGD与Hessian依赖噪声的逃离效率，与GD使用白噪声相比有何不同？

主要发现

• 由于依赖Hessian矩阵的噪声协方差，SGD会以指数速度比平坦极小值更快地逃离尖锐极小值，从而实现对平坦极小值的指数级偏好。
• 相比之下，使用白噪声的GD仅以多项式速度更偏好平坦极小值，表明其选择机制要弱得多。
• 大批次训练需要指数级多的迭代次数才能逃离极小值，因此在实际时间限制下，寻找平坦极小值效率极低。
• 从极小值的逃离时间与批次大小和学习率之比呈指数关系，凸显了训练超参数间的基本权衡。