[论文解读] A Diffusion Theory For Deep Learning Dynamics: Stochastic Gradient Descent Exponentially Favors Flat Minima

Zeke Xie, Issei Sato+1 more|arXiv (Cornell University)|Feb 10, 2020

Stochastic Gradient Optimization Techniques参考文献 62被引用 26

一句话总结

本文提出了一种密度扩散理论（DDT），解释了为何在深度学习中随机梯度下降（SGD）会指数级地偏好平坦的极小值。通过建模与海森矩阵相关的随机梯度噪声的协方差，该理论证明SGD对平坦极小值的偏好程度是尖锐极小值的指数级倍，而与白噪声的梯度下降不同，后者仅表现出多项式级别的偏好。同时，该理论表明，大批次或小学习率的训练需要呈指数级增长的步数才能逃逸极小值。

ABSTRACT

Stochastic Gradient Descent (SGD) and its variants are mainstream methods for training deep networks in practice. SGD is known to find a flat minimum that often generalizes well. However, it is mathematically unclear how deep learning can select a flat minimum among so many minima. To answer the question quantitatively, we develop a density diffusion theory (DDT) to reveal how minima selection quantitatively depends on the minima sharpness and the hyperparameters. To the best of our knowledge, we are the first to theoretically and empirically prove that, benefited from the Hessian-dependent covariance of stochastic gradient noise, SGD favors flat minima exponentially more than sharp minima, while Gradient Descent (GD) with injected white noise favors flat minima only polynomially more than sharp minima. We also reveal that either a small learning rate or large-batch training requires exponentially many iterations to escape from minima in terms of the ratio of the batch size and learning rate. Thus, large-batch training cannot search flat minima efficiently in a realistic computational time.

研究动机与目标

• 解决深度学习中SGD始终找到泛化性能良好的平坦极小值这一长期悬而未决的问题。
• 建立一个定量理论，解释极小值选择如何依赖于极小值的尖锐度、批量大小、学习率以及梯度噪声结构。
• 正式证明SGD由于各向异性的、依赖海森矩阵的噪声，对平坦极小值的偏好程度是尖锐极小值的指数级倍，这与各向同性噪声模型形成鲜明对比。
• 揭示逃逸时间对批量大小与学习率之比的指数依赖关系，解释大批次训练效率低下的原因。

提出的方法

• 提出一种密度扩散理论（DDT），用于建模SGD下参数分布的演化，将动力学视为扩散过程。
• 将随机梯度噪声（SGN）建模为协方差与海森矩阵成正比、与批量大小成反比，从而捕捉其各向异性与参数依赖的特性。
• 推导出平均逃逸时间公式，显示其对学习率的倒数和批量大小呈指数依赖，通过海森行列式与极小值尖锐度建立联系。
• 使用福克-普朗克方程描述参数密度的时间演化，从而实现对极小值选择概率的分析。
• 通过在非凸函数、逻辑回归和不同批量大小与学习率的深层MLP上的实验，验证理论预测。
• 实证确认了逃逸率随极小值尖锐度、批量大小和学习率增加而呈指数衰减，与理论预测一致。

实验结果

研究问题

• RQ1 为何在存在大量局部极小值的情况下，SGD在深度学习中仍偏好平坦极小值？
• RQ2 随机梯度噪声的结构——特别是其对海森矩阵的依赖——如何影响SGD中的极小值选择？
• RQ3 从极小值逃逸的时间与超参数（学习率、批量大小）之间存在何种定量关系？
• RQ4 SGD对平坦极小值的指数级偏好与使用各向同性噪声的梯度下降所表现出的多项式偏好相比，有何不同？
• RQ5 大批次训练在多大程度上因逃逸动力学缓慢而无法高效探索平坦极小值？

主要发现

• SGD由于随机梯度噪声的协方差依赖于海森矩阵，表现出各向异性和参数特异性，从而对平坦极小值的偏好程度是尖锐极小值的指数级倍。
• 从极小值逃逸的平均时间随学习率的倒数和批量大小的增加而呈指数级增长，意味着大批次或小学习率的训练需要呈指数级增长的迭代次数才能逃逸。
• 随着极小值尖锐度的增加（以二阶方向导数或海森行列式衡量），从极小值逃逸的速率呈指数级衰减。
• 在Styblinski-Tang函数、逻辑回归和深层MLP上的实证验证确认了理论预测：-log(逃逸率)与1/η、B和1/k呈线性关系，其中η为学习率，B为批量大小，k为尖锐度。
• 与SGD的指数偏好形成对比，使用各向同性白噪声的梯度下降仅表现出对平坦极小值的多项式偏好，凸显了噪声结构的关键作用。
• 该理论解释了为何大批次训练无法高效找到泛化性能良好的极小值：由于噪声幅度过低，系统会在极小值中被长时间困住。