[论文解读] An Empirical Analysis of Deep Network Loss Surfaces

Daniel Jiwoong Im, Michael Tao+1 more|arXiv (Cornell University)|Apr 24, 2017

Advanced Neural Network Applications参考文献 19被引用 22

一句话总结

本文通过在多边形投影上使用可视化技术，实证研究了深度神经网络损失曲面的几何特性，揭示了随机优化方法（如SGD和Adam）收敛到具有不同结构特性的极小值。其主要贡献在于证明这些极小值通常通过低损失路径相连，表明尽管存在非凸性，优化景观仍具有有利特性。

ABSTRACT

The training of deep neural networks is a high-dimension optimization problem with respect to the loss function of a model. Unfortunately, these functions are of high dimension and non-convex and hence difficult to characterize. In this paper, we empirically investigate the geometry of the loss functions for state-of-the-art networks with multiple stochastic optimization methods. We do this through several experiments that are visualized on polygons to understand how and when these stochastic optimization methods find minima.

研究动机与目标

• 理解深度神经网络损失曲面的几何结构，这些曲面具有高维性和非凸性。
• 研究随机优化方法（如SGD和Adam）如何在这些复杂的损失曲面中导航。
• 可视化并分析最先进深度网络中极小值的连通性与曲率。
• 确定不同优化方法找到的极小值在结构上是否相似或不同。
• 评估优化动力学在塑造损失曲面几何中的作用。

提出的方法

• 作者使用降维技术，将高维损失曲面投影到二维多边形上以实现可视化。
• 使用多种随机优化方法（包括SGD和Adam）训练最先进深度网络。
• 通过计算极小值之间线性插值路径上的损失值，评估其连通性。
• 通过测量不同区域的曲率与损失变化，分析损失曲面的几何特性。
• 在标准基准和网络架构上进行实验，以确保结果的泛化能力。
• 使用可视化工具比较不同优化器找到的极小值的结构特性。

实验结果

研究问题

• RQ1 深度网络中随机优化方法找到的极小值是否通过低损失路径相连？
• RQ2 SGD和Adam等不同优化方法的损失曲面几何特性有何差异？
• RQ3 深度网络损失曲面中的极小值在多大程度上是连通的，表明存在有利的优化景观？
• RQ4 不同优化方法是否收敛到具有相似或不同曲率与损失特征的极小值？
• RQ5 损失曲面的几何特性能否解释训练模型的泛化性能？

主要发现

• 不同优化方法找到的极小值通常通过低损失路径相连，表明优化景观高度连通且有利。
• 损失曲面在极小值之间表现出高度连通性，表明优化过程不会被困在孤立的局部极小值中。
• 极小值附近的损失曲面曲率通常较低，支持存在广泛极小值（可泛化良好）的结论。
• SGD倾向于找到更平坦的极小值，这或许可解释其在某些场景下优于Adam的泛化性能。
• 损失曲面的可视化表明，损失函数的非凸性程度低于以往假设，许多极小值位于低损失路径上。
• 结果表明，深度网络中的优化过程受一种有利于收敛到可泛化解的景观所引导。