[论文解读] Directional convergence and alignment in deep learning

Ziwei Ji, Matus Telgarsky|arXiv (Cornell University)|Jun 11, 2020

Stochastic Gradient Optimization Techniques参考文献 34被引用 14

一句话总结

该论文证明，在深层齐次神经网络中，尽管权重无界增长，梯度流仍能实现方向收敛，从而确保预测结果、边缘值以及与泛化相关量的收敛。核心结果依赖于一种新型的无界非光滑Kurdyka-Łojasiewicz不等式理论，适用于可定义函数，无需宽度或初始化约束，仅需完美分类条件。

ABSTRACT

In this paper, we show that although the minimizers of cross-entropy and related classification losses are off at infinity, network weights learned by gradient flow converge in direction, with an immediate corollary that network predictions, training errors, and the margin distribution also converge. This proof holds for deep homogeneous networks -- a broad class of networks allowing for ReLU, max-pooling, linear, and convolutional layers -- and we additionally provide empirical support not just close to the theory (e.g., the AlexNet), but also on non-homogeneous networks (e.g., the DenseNet). If the network further has locally Lipschitz gradients, we show that these gradients also converge in direction, and asymptotically align with the gradient flow path, with consequences on margin maximization, convergence of saliency maps, and a few other settings. Our analysis complements and is distinct from the well-known neural tangent and mean-field theories, and in particular makes no requirements on network width and initialization, instead merely requiring perfect classification accuracy. The proof proceeds by developing a theory of unbounded nonsmooth Kurdyka-Łojasiewicz inequalities for functions definable in an o-minimal structure, and is also applicable outside deep learning.

研究动机与目标

• 解决权重发散时预测结果表面不稳定及泛化性能问题的担忧。
• 在最小假设条件下（尤其是完美分类）建立网络参数的方向收敛性。
• 当梯度局部Lipschitz时，将收敛性扩展至梯度和显著性图。
• 提供一个独立于神经正切核与平均场理论的理论框架，避免对宽度和初始化的约束。

提出的方法

• 为在o-极小结构中可定义的函数建立无界非光滑Kurdyka-Łojasiewicz（KŁ）不等式理论。
• 使用Clarke次微分分析梯度流，适用于如交叉熵等不可微、非凸损失函数。
• 在L-正齐次性和可定义性条件下，证明归一化权重轨迹具有有限长度，从而实现方向收敛。
• 将KŁ框架应用于证明：当梯度局部Lipschitz时，梯度也沿参数路径方向收敛，从而实现边缘最大化与显著性图收敛。
• 通过实证验证了在齐次网络（如改进版AlexNet）和非齐次网络（如DenseNet）中均存在方向收敛。
• 利用测度划分与Lipschitz连续性，对边缘和预测值在时间上的偏差进行上界控制。

实验结果

研究问题

• RQ1 在深层齐次网络中，尽管权重趋于无穷大，梯度流是否仍能实现方向收敛？
• RQ2 是否可在不依赖宽网络或小初始化扰动的前提下建立方向收敛性？
• RQ3 当梯度局部Lipschitz时，梯度是否也实现方向收敛？这对边缘最大化有何影响？
• RQ4 该理论能否扩展至具有跳跃连接或偏置的非齐次网络？
• RQ5 所提出的KŁ不等式框架与神经正切核理论及平均场理论相比，在假设条件和适用范围上如何？

主要发现

• 归一化权重轨迹 $ \frac{W_t}{\|W_t\|} $ 收敛，意味着网络参数实现方向收敛。
• 预测边缘 $ \frac{y_i \Phi(x_i; W_t)}{\|W_t\|^L} $ 收敛，确保与泛化相关量的稳定性。
• 当梯度局部Lipschitz时，梯度沿参数路径方向收敛，从而实现显著性图收敛与边缘最大化。
• 该理论适用于具有ReLU、最大池化、线性及卷积层的深层网络，仅需满足齐次性与可定义性条件。
• 实证结果证实了在齐次网络（如改进版AlexNet）与非齐次网络（如DenseNet）中均存在方向收敛。
• 该框架独立于神经正切核与平均场理论，仅需完美分类条件，无需宽度或初始化约束。