[论文解读] On the diffusion approximation of nonconvex stochastic gradient descent

Wenqing Hu, Chris Junchi Li+2 more|arXiv (Cornell University)|May 22, 2017

Stochastic Gradient Optimization Techniques参考文献 34被引用 29

一句话总结

本文利用主方程框架，为非凸随机梯度下降（SGD）建立了严格的弱扩散近似，表明SGD在逆步长依赖下，以指数速度逃离局部极小值点，以近乎线性速度逃离鞍点，具体取决于噪声结构。研究证明，小批量大小有助于更快地逃离尖锐极小值点和不稳定点，支持在深度学习中采用自适应批量大小调度以实现更好的泛化性能。

ABSTRACT

We study the Stochastic Gradient Descent (SGD) method in nonconvex optimization problems from the point of view of approximating diffusion processes. We prove rigorously that the diffusion process can approximate the SGD algorithm weakly using the weak form of master equation for probability evolution. In the small step size regime and the presence of omnidirectional noise, our weak approximating diffusion process suggests the following dynamics for the SGD iteration starting from a local minimizer (resp.~saddle point): it escapes in a number of iterations exponentially (resp.~almost linearly) dependent on the inverse stepsize. The results are obtained using the theory for random perturbations of dynamical systems (theory of large deviations for local minimizers and theory of exiting for unstable stationary points). In addition, we discuss the effects of batch size for the deep neural networks, and we find that small batch size is helpful for SGD algorithms to escape unstable stationary points and sharp minimizers. Our theory indicates that one should increase the batch size at later stage for the SGD to be trapped in flat minimizers for better generalization.

研究动机与目标

• 在小步长条件下，利用主方程框架，严格建立非凸SGD的弱扩散近似。
• 通过大偏差理论和首次 hitting 时间理论，分析SGD从不稳定驻点（鞍点）和局部极小值点的逃逸动力学。
• 研究批量大小在SGD动力学中的作用及其对深度神经网络泛化性能的影响。
• 为自适应批量大小调度策略提供理论依据，特别是后期训练阶段增加批量大小。

提出的方法

• 使用主方程的弱形式，将离散SGD迭代形式化地近似为随机微分方程（SDE）。
• 应用大偏差理论，刻画从局部极小值点的逃逸时间，表明其与逆步长呈指数依赖关系。
• 利用首次 hitting 时间理论分析不稳定驻点的逃逸行为，推导出与逆步长近乎线性相关的逃逸尺度。
• 在各向同性噪声下分析扩散过程，以建模SGD的随机动力学。
• 推导出小批量SGD的扩散近似，将批量大小与噪声水平及扩散系数联系起来。
• 通过全连接网络在MNIST上的数值验证，比较大批次与小批次方法在权重轨迹扩散和测试准确率方面的表现。

实验结果

研究问题

• RQ1 扩散近似框架如何解释非凸优化中SGD从局部极小值点和鞍点的逃逸动力学？
• RQ2 从不稳定驻点和局部极小值点的逃逸时间与步长及噪声结构的依赖关系如何？
• RQ3 批量大小如何影响SGD的扩散性和随机性，其对收敛性和泛化性能有何影响？
• RQ4 扩散近似框架能否为改进深度学习泛化性能的自适应批量大小调度策略提供理论支持？
• RQ5 各向同性噪声在实现从尖锐极小值点和鞍点的快速逃逸中起到什么作用？

主要发现

• 从局部极小值点的逃逸时间与逆步长呈指数关系，表明在小步长和充分噪声条件下逃逸速度很快。
• 从鞍点的逃逸时间与逆步长近乎线性相关，表明其逃逸速率显著快于先前报道的O(η⁻²)速率。
• 小批量大小产生更高水平的各向同性噪声，增强扩散过程，从而加速从尖锐极小值点和不稳定驻点的逃逸。
• 大批次大小导致扩散性降低，使SGD收敛到更尖锐的极小值点，泛化性能更差，MNIST上的数值实验已证实此结论。
• 数值结果验证了小批量方法表现出更大的权重轨迹扩散和更高的测试准确率，而大批次方法则呈现更高的训练准确率但更低的测试准确率。
• 本研究支持一种猜想：在后期训练阶段增加批量大小，有助于将SGD困在更平坦的极小值点，从而改善泛化性能。