[论文解读] How noise affects the Hessian spectrum in overparameterized neural networks

Mingwei Wei, David J. Schwab|arXiv (Cornell University)|Oct 1, 2019

Stochastic Gradient Optimization Techniques参考文献 25被引用 10

一句话总结

该论文表明，在过参数化的神经网络中，当损失函数在某些方向上曲率平坦（即处于退化损失山谷）时，随机梯度下降（SGD）会降低海森矩阵的迹。利用涨落-耗散关系，论文证明SGD带来的噪声系统性地减小了海森矩阵的迹，且在非退化方向上的各向同性噪声会降低海森矩阵的行列式，从而提供了一种泛化机制，并为新型优化算法的设计提供了指导。

ABSTRACT

Stochastic gradient descent (SGD) forms the core optimization method for deep neural networks. While some theoretical progress has been made, it still remains unclear why SGD leads the learning dynamics in overparameterized networks to solutions that generalize well. Here we show that for overparameterized networks with a degenerate valley in their loss landscape, SGD on average decreases the trace of the Hessian of the loss. We also generalize this result to other noise structures and show that isotropic noise in the non-degenerate subspace of the Hessian decreases its determinant. In addition to explaining SGDs role in sculpting the Hessian spectrum, this opens the door to new optimization approaches that may confer better generalization performance. We test our results with experiments on toy models and deep neural networks.

研究动机与目标

• 解释为何在仅使用一阶信息的情况下，过参数化网络中的SGD仍能实现良好的泛化性能。
• 研究SGD噪声如何影响海森矩阵谱，特别是在退化损失山谷中的影响。
• 推导能够控制海森矩阵迹与行列式演化的噪声协方差结构，以提升泛化性能。
• 通过小规模模型和深度神经网络的实验验证理论预测。
• 为基于受控海森矩阵演化的新型优化算法设计开辟新路径。

提出的方法

• 理论分析基于涨落-耗散关系（Yaida, 2019），用于建模SGD噪声对参数空间中海森矩阵的影响。
• 定义了一个最小化的山谷结构，其中损失函数被近似为具有退化与非退化子空间的二次型。
• 在不同噪声协方差结构下推导海森矩阵迹与行列式的演化，表明SGD噪声会降低迹，而各向同性噪声会降低行列式。
• 应用坐标变换以解耦非退化与退化子空间，从而实现对海森矩阵特征值动态的分析。
• 实验采用具有受控损失函数的小型模型，测试在不同学习率和噪声结构下迹与行列式的演化。
• 通过SGD轨迹上的投影路径估计海森矩阵迹的演化，并通过数值估计方法（Bai et al., 1996）进行验证。

实验结果

研究问题

• RQ1 SGD噪声如何影响过参数化网络在退化损失山谷中海森矩阵的迹？
• RQ2 能否设计出噪声协方差结构以控制优化过程中海森矩阵行列式的演化？
• RQ3 海森矩阵迹是否沿SGD轨迹的投影路径减小？
• RQ4 海森矩阵迹的演化对学习率与噪声方差的依赖关系如何？
• RQ5 海森矩阵迹的演化在多大程度上与泛化性能相关？

主要发现

• 在退化山谷中，SGD噪声平均降低了海森矩阵的迹，与偏好平坦极小值的倾向一致。
• 迹的演化速率与η²成正比，其贡献来自梯度步长的展开以及非退化方向上的平衡统计。
• 在非退化子空间中，各向同性噪声会降低海森矩阵的行列式，提示其可能作为逃离尖锐极小值的机制。
• 在小规模模型上的实验验证了训练损失与负海森矩阵特征值之和之间存在线性关系。
• 在Preact-ResNet18和VGG16上的投影路径分析表明，即使验证损失上升，海森矩阵迹在训练过程中仍持续减小。
• 观测到的海森矩阵迹演化与理论预测一致，支持噪声在塑造海森矩阵谱以实现更好泛化中的作用。