[论文解读] Analyzing Sharpness along GD Trajectory: Progressive Sharpening and Edge of Stability

Zhouzi Li, Zixuan Wang+1 more|arXiv (Cornell University)|Jul 26, 2022

Neural Networks and Applications被引用 4

一句话总结

本文分析了深度神经网络中梯度下降的动力学，基于复杂度演化识别出四阶段轨迹——逐步复杂化，随后在稳定边缘（EOS）区域附近振荡。研究提出输出层权重范数是复杂度的关键指标，为非单调损失与复杂度行为提供了理论与实证解释，且在简化假设下的两层线性网络中给出了严谨证明。

ABSTRACT

Recent findings (e.g., arXiv:2103.00065) demonstrate that modern neural networks trained by full-batch gradient descent typically enter a regime called Edge of Stability (EOS). In this regime, the sharpness, i.e., the maximum Hessian eigenvalue, first increases to the value 2/(step size) (the progressive sharpening phase) and then oscillates around this value (the EOS phase). This paper aims to analyze the GD dynamics and the sharpness along the optimization trajectory. Our analysis naturally divides the GD trajectory into four phases depending on the change of the sharpness. We empirically identify the norm of output layer weight as an interesting indicator of sharpness dynamics. Based on this empirical observation, we attempt to theoretically and empirically explain the dynamics of various key quantities that lead to the change of sharpness in each phase of EOS. Moreover, based on certain assumptions, we provide a theoretical proof of the sharpness behavior in EOS regime in two-layer fully-connected linear neural networks. We also discuss some other empirical findings and the limitation of our theoretical results.

研究动机与目标

• 理解深度网络中梯度下降期间复杂度与损失的非单调行为，特别是稳定边缘（EOS）区域的出现。
• 识别一种实用指标——即输出层权重的范数——其与训练过程中复杂度动态的相关性。
• 在简化两层线性神经网络设置下，为渐进复杂化与EOS行为提供理论解释。
• 解释训练中观察到的非单调损失下降现象，该现象与经典优化理论相悖。
• 阐明尽管违反经典收敛规则，复杂度为何在2/η处稳定的原因。

提出的方法

• 基于复杂度与损失动态，将梯度下降轨迹划分为四个阶段：初始下降、渐进复杂化、EOS区域与最终稳定。
• 通过实证发现输出层权重范数是复杂度演化的强代理，从而可通过该代理分析复杂度动态。
• 在输出层权重范数与复杂度行为之间建立假设关联，推导复杂度、损失与权重范数的理论动态。
• 采用Hessian矩阵的高斯-牛顿近似，聚焦Fisher信息矩阵（FIM）与神经正切核（NTK），通过矩阵M(t)的最大特征值近似复杂度。
• 应用梯度流动力学建模残差向量D(t)，推导更新规则D(t+1) - D(t) ≈ -ηM(t)D(t)，以分析复杂度演化。
• 在弱假设下，为两层全连接线性网络中复杂度行为提供严谨理论证明，包括复杂度收敛至2/η。

实验结果

研究问题

• RQ1 在现代深度网络的梯度下降轨迹中，复杂度与损失的动态阶段有哪些显著特征？
• RQ2 为何复杂度会上升至2/η并在此值附近稳定，尽管违反了经典收敛条件？
• RQ3 输出层权重范数如何作为复杂度动态的可靠代理？
• RQ4 是什么导致在EOS区域中观察到的非单调损失下降？
• RQ5 在何种条件下，可对简化网络架构中EOS区域的复杂度行为提供理论解释？

主要发现

• 梯度下降轨迹自然划分为四个阶段：初始损失下降、渐进复杂化、EOS区域（复杂度振荡）与最终稳定。
• 输出层权重范数在实证中被发现是复杂度演化的强而可靠的指标，使复杂度动态可间接分析。
• 在EOS区域，复杂度围绕2/η振荡，该值本应导致发散，但训练损失仍持续非单调下降。
• 在两层全连接线性网络中，理论分析表明在弱假设下复杂度收敛至2/η，为EOS现象提供了形式化解释。
• 非单调损失下降由复杂度的振荡行为及权重范数增长与残差向量动态之间的相互作用所解释。
• 神经正切核（NTK）矩阵M(t)的最大特征值能紧密近似Hessian矩阵的最大特征值（即复杂度），验证了其在分析中作为代理的有效性。