[论文解读] Directional Analysis of Stochastic Gradient Descent via von Mises-Fisher Distributions in Deep learning

Cheolhyoung Lee, Kyunghyun Cho+1 more|arXiv (Cornell University)|Sep 29, 2018

Stochastic Gradient Optimization Techniques被引用 5

一句话总结

本文通过冯·米塞斯-费舍尔（vMF）分布对深度学习中的随机梯度下降（SGD）进行方向性分析，以建模小批量梯度方向的集中性。理论与实证结果表明，梯度方向一致性的度量——vMF集中参数κ——在训练过程中持续增加，且这种方向性随机性比范数随机性更强烈地驱动整体梯度随机性（信噪比）。

ABSTRACT

Although stochastic gradient descent (SGD) is a driving force behind the recent success of deep learning, our understanding of its dynamics in a high-dimensional parameter space is limited. In recent years, some researchers have used the stochasticity of minibatch gradients, or the signal-to-noise ratio, to better characterize the learning dynamics of SGD. Inspired from these work, we here analyze SGD from a geometrical perspective by inspecting the stochasticity of the norms and directions of minibatch gradients. We propose a model of the directional concentration for minibatch gradients through von Mises-Fisher (VMF) distribution, and show that the directional uniformity of minibatch gradients increases over the course of SGD. We empirically verify our result using deep convolutional networks and observe a higher correlation between the gradient stochasticity and the proposed directional uniformity than that against the gradient norm stochasticity, suggesting that the directional statistics of minibatch gradients is a major factor behind SGD.

研究动机与目标

• 通过聚焦梯度方向性，超越基于范数的分析，理解SGD在高维空间中的动态行为。
• 使用冯·米塞斯-费舍尔（vMF）分布对小批量梯度的方向集中性进行建模。
• 探究训练过程中方向一致性是否增强，以及其与梯度随机性（相比范数随机性）的相关性强度。
• 在包含批量归一化和残差连接的现代深度学习架构中，验证所提出的定向分析。
• 确立方向统计量（而不仅仅是范数统计量）在理解SGD学习动态中的核心作用。

提出的方法

• 使用冯·米塞斯-费舍尔（vMF）分布对小批量梯度方向的分布进行建模，其参数为集中参数κ。
• 理论上证明，随着训练进行，梯度的方向一致性（1/κ）增加，意味着方向方差减小。
• 通过最大似然估计法从小批量梯度中估计vMF集中参数κ。
• 将梯度随机性（SNR）定义为梯度变异系数的倒数，并将其分解为范数随机性与方向随机性两部分。
• 使用对数-对数散点图和归一化时间序列演化分析，比较不同训练运行和架构下的SNR、κ与normSNR。
• 在MNIST和CIFAR-10数据集上，对带有和不带批量归一化的CNN、ResNet以及宽网络进行实验，以验证方向一致性趋势。

实验结果

研究问题

• RQ1 在深度神经网络的训练过程中，是否如vMF分布所建模的那样，小批量梯度的方向集中性会增加？
• RQ2 与范数随机性相比，方向一致性（以vMF κ度量）与整体梯度随机性（SNR）的相关性如何？
• RQ3 现代深度学习组件（如批量归一化和残差连接）在多大程度上影响SGD的方向动力学？
• RQ4 梯度的方向随机性是否比梯度的范数随机性更显著地驱动SNR？
• RQ5 vMF分布是否能有效建模高维深度学习优化中，小批量梯度的方向行为？

主要发现

• 估计的vMF集中参数κ在训练过程中显著增加，表明小批量梯度的方向一致性不断增强。
• 在所有实验设置中，梯度随机性（SNR）的倒数与方向一致性的倒数（1/κ）高度相关，对数-对数散点图中决定系数R² > 0.9。
• 梯度范数随机性（normSNR）与SNR的相关性明显较弱，表明其在整体梯度变异中并非主导因素。
• 方向一致性趋势在多种架构中均成立，包括标准CNN、带批量归一化的CNN以及残差网络。
• 在四种不同的随机权重初始化下，SNR与κ的相关性依然强烈，证实了结果的稳健性。
• 由于维度效应的影响，κ的绝对值在不同网络规模之间不可直接比较，提示需采用相对或归一化分析。