[论文解读] An Investigation into Neural Net Optimization via Hessian Eigenvalue Density

Behrooz Ghorbani, Shankar Krishnan+1 more|arXiv (Cornell University)|Jan 29, 2019

Sparse and Compressive Sensing Techniques被引用 103

一句话总结

该论文开发了一个可扩展的工具，用于在训练过程中估计大型神经网络的完整 Hessian 谱，并显示离群特征值会减慢优化，而批归一化则抑制这些离群值。

ABSTRACT

To understand the dynamics of optimization in deep neural networks, we develop a tool to study the evolution of the entire Hessian spectrum throughout the optimization process. Using this, we study a number of hypotheses concerning smoothness, curvature, and sharpness in the deep learning literature. We then thoroughly analyze a crucial structural feature of the spectra: in non-batch normalized networks, we observe the rapid appearance of large isolated eigenvalues in the spectrum, along with a surprising concentration of the gradient in the corresponding eigenspaces. In batch normalized networks, these two effects are almost absent. We characterize these effects, and explain how they affect optimization speed through both theory and experiments. As part of this work, we adapt advanced tools from numerical linear algebra that allow scalable and accurate estimation of the entire Hessian spectrum of ImageNet-scale neural networks; this technique may be of independent interest in other applications.

研究动机与目标

• 开发一个可扩展的工具，用于估计大型神经网络的完整 Hessian 谱。
• 通过训练过程的经验分析 Hessian 谱，以评估曲率和优化假设。
• 研究离群 Hessian 本征值的作用以及批归一化对优化速度的影响。

提出的方法

• 使用 Pearlmutter 的技巧来计算 Hessian-向量乘积。
• 使用带高斯积分的随机 Lanczos 求积来估计 Hessian 谱密度。
• 执行多样本平均以估计平滑光谱密度 φ_sigma(t)。
• 以双精度真值对小型模型进行精度验证。
• 在 CIFAR-10 和 ImageNet 上跟踪 ResNet/VGG 的优化轨迹中的 Hessian 谱。

实验结果

研究问题

• RQ1 大型神经网络在训练过程中的完整 Hessian 谱是什么？
• RQ2 离群特征值如何影响优化速度？
• RQ3 BN 的对 Hessian 谱和训练动态的影响是什么？
• RQ4 BN 能否改变梯度能量在特征方向上的分布？
• RQ5 谱性质是否与学习率计划或架构选择（如残差连接）相关？

主要发现

• Hessian 谱在训练一开始就迅速失去大量负特征值，并在大多数特征值接近零时稳定下来。
• 离群 Hessian 本征值与非批归一化网络中较慢的优化相关。
• 批归一化抑制离群特征值，将梯度能量集中在离群子空间之外，提升优化速度。
• 降低学习率可以收缩大特征值并减少离群的幅度，與某些平坦/尖锐极小值的期望相反。
• 残差连接进一步收缩特征值向零靠拢，与 BN 对更平滑谱的影响一致。
• BN 中的全量批统计可能重新引入离群值并减慢训练，支持基于谱的 BN 作用的观点。