[论文解读] Essentially No Barriers in Neural Network Energy Landscape

Felix Draxler, Kambis Veschgini+2 more|arXiv (Cornell University)|Mar 2, 2018

Stochastic Gradient Optimization Techniques参考文献 21被引用 131

一句话总结

简要结论：本文表明现代神经网络在 CIFAR10/100 上的极小值通过本质上平坦的路径相连，没有显著的能量屏障，表明极小值构成一个单一连通的低损失流形。

ABSTRACT

Training neural networks involves finding minima of a high-dimensional non-convex loss function. Knowledge of the structure of this energy landscape is sparse. Relaxing from linear interpolations, we construct continuous paths between minima of recent neural network architectures on CIFAR10 and CIFAR100. Surprisingly, the paths are essentially flat in both the training and test landscapes. This implies that neural networks have enough capacity for structural changes, or that these changes are small between minima. Also, each minimum has at least one vanishing Hessian eigenvalue in addition to those resulting from trivial invariance.

研究动机与目标

• 提出神经网络损失极小值形成一个连通的低损失流形，而非孤立点。
• 开发并应用一种方法在不同体系结构之间寻找极小值之间的最小能量路径。
• 对 CIFAR10 与 CIFAR100 上的状态最前沿网络，量化极小值之间路径上的势垒。
• 提供对观察到的路径连通性与低势垒的定性解释和实证证据。

提出的方法

• 将两个极小值之间的最小能量路径（MEP）定义为沿路径最大损失最小的路径。
• 将 Nudged Elastic Band (NEB) 方法应用并扩展到神经网络损失景观，以将路径变形为低势垒轨迹。
• 使用 Automated Nudged Elastic Band (AutoNEB) 迭代采样并在损失较高处增加枢轴点以细化路径。
• 将在 CIFAR10/100 上的多种架构（CNNs、ResNets、DenseNets）之间连接多个极小值，并评估路径上的鞍点。
• 构建一个覆盖极小值的最小生成树，以总结所有对之间鞍能的上界。
• 对沿着 MEP 的网络参数轨迹提供定性和定量分析。

实验结果

研究问题

• RQ1 现代神经网络的极小值是否位于孤立盆地中，还是可以通过低损失路径相连？
• RQ2 NEB/AutoNEB 是否能揭示跨体系结构连接独立极小值的最小能量路径？
• RQ3 这些路径上的鞍点能量与训练和测试集的极小损失相比如何？
• RQ4 增加深度和宽度是否会降低 CIFAR 数据集上极小值之间的势垒高度？
• RQ5 哪些物理化学启发的洞见（如鲁棒性、冗余）有助于解释观察到的路径连通性？

主要发现

• 存在在独立训练的极小值之间的连续路径，其上的训练损失在很大程度上仍接近极小值的值。
• 这些路径上的测试损失基本保持不变，而测试误差仅略有增加。
• 当体系结构更深更宽时，极小值之间的势垒减少，在 CIFAR10/100 上深层 ResNets 与 DenseNets 的势垒几乎消失。
• 局部最小能量路径（MEP）显示参数轨迹平滑，偏离线性插值的程度适中，尤其是在鞍点附近。
• AutoNEB 能构建低势垒路径，并通过极小值的最小生成树提供鞍点能量的上界。
• 研究表明极小值位于单一连通的低损失流形上，而非孤立谷。