[论文解读] Stuck in a What? Adventures in Weight Space

Zachary C. Lipton|arXiv (Cornell University)|Feb 23, 2016

Obesity and Health Practices参考文献 1被引用 12

一句话总结

本文挑战了训练后的神经网络会收敛到临界点的普遍观点，表明权重实际上是在权重空间中通过平坦且低损失的区域长距离移动。通过对MNIST进行主成分分析（PCA）和轨迹分析，发现即使从相同的初始化开始，不同数据打乱方式也会导致模型显著发散，证明误差曲面在局部仍保持非凸性，且零损失解存在于巨大而连续的谷底中，而非孤立的极小值点。

ABSTRACT

Deep learning researchers commonly suggest that converged models are stuck in local minima. More recently, some researchers observed that under reasonable assumptions, the vast majority of critical points are saddle points, not true minima. Both descriptions suggest that weights converge around a point in weight space, be it a local optima or merely a critical point. However, it's possible that neither interpretation is accurate. As neural networks are typically over-complete, it's easy to show the existence of vast continuous regions through weight space with equal loss. In this paper, we build on recent work empirically characterizing the error surfaces of neural networks. We analyze training paths through weight space, presenting evidence that apparent convergence of loss does not correspond to weights arriving at critical points, but instead to large movements through flat regions of weight space. While it's trivial to show that neural network error surfaces are globally non-convex, we show that error surfaces are also locally non-convex, even after breaking symmetry with a random initialization and also after partial training.

研究动机与目标

• 调查训练后的神经网络是否收敛到临界点，或是否在权重空间中通过平坦的低损失区域移动。
• 评估在通过随机初始化和部分训练打破对称性后，误差曲面是否仍保持局部非凸性。
• 研究随机数据打乱对过完备网络中权重轨迹发散的影响程度。
• 使用降维和距离度量方法，评估权重空间中训练路径的几何结构。

提出的方法

• 在MNIST上训练一个含819,557个参数的3层卷积神经网络，使用Dropout和ℓ²权重衰减。
• 从不同随机初始化出发，追踪200个周期内的完整权重轨迹。
• 应用二维PCA以可视化并量化权重空间路径中的非线性。
• 比较相同初始化但不同数据打乱方式下的轨迹，以评估发散程度。
• 在固定周期测量解之间的成对欧几里得距离，以评估对称性和谷底结构。
• 将一个模型预训练10个周期，克隆5次，然后使用不同的数据打乱方式重新训练每个克隆，以测试训练后发散情况。

实验结果

研究问题

• RQ1 神经网络权重是否收敛到临界点，还是在权重空间中通过平坦的低损失区域移动？
• RQ2 通过随机初始化打破对称性后，神经网络的误差曲面是否保持局部凸性？
• RQ3 即使从相同的初始化开始，数据打乱在多大程度上会引发不同的权重轨迹？
• RQ4 在固定训练周期后达到的解，是否与原点以及彼此之间保持近似相等的距离，从而暗示权重空间中的对称谷底结构？
• RQ5 主成分分析能否揭示权重空间轨迹中的低维、平滑流形？

主要发现

• 权重空间轨迹的前两个主成分解释了81.39%的方差，表明路径具有高度非线性和低维性。
• 前十个主成分解释了95.63%的方差，表明权重轨迹位于低维流形上。
• 在固定周期后，所有解对之间的距离以及与原点的距离均近似相等，表明权重空间中存在强对称性。
• 即使在10个周期的预训练后，从相同权重克隆网络并使用不同数据打乱方式训练，仍导致发散的解，表明非凸性持续存在。
• 模型在第100个周期达到零训练误差，但仍持续在平坦的权重空间区域移动，表明零损失区域并非孤立的临界点。
• 尽管从初始化到解的直线路径上损失单调下降，但实际梯度下降路径高度非线性，证实了权重空间中存在复杂动力学。