[论文解读] Linear Mode Connectivity and the Lottery Ticket Hypothesis
论文引入不稳定性分析来测试 SGD 噪声敏感性，显示网络在训练早期对 SGD 噪声变得稳定，从而产生线性模式连通性，并据此解释何时迭代幅度剪枝能够得到匹配的子网。
We study whether a neural network optimizes to the same, linearly connected minimum under different samples of SGD noise (e.g., random data order and augmentation). We find that standard vision models become stable to SGD noise in this way early in training. From then on, the outcome of optimization is determined to a linearly connected region. We use this technique to study iterative magnitude pruning (IMP), the procedure used by work on the lottery ticket hypothesis to identify subnetworks that could have trained in isolation to full accuracy. We find that these subnetworks only reach full accuracy when they are stable to SGD noise, which either occurs at initialization for small-scale settings (MNIST) or early in training for large-scale settings (ResNet-50 and Inception-v3 on ImageNet).
研究动机与目标
- 评估 SGD 噪声在不同运行之间对神经网络优化结果的影响
- 确定不同的 SGD 噪声样本在何时会导致相同的（线性连通的）极小值
- 使用不稳定性分析来评估迭代幅度剪枝（IMP）和彩票票据的结果
- 将 IMP 推广到回溯至中间训练阶段以寻找匹配的稀疏子网
- 为大规模模型中的剪枝时机和优化动态提供实际见解
提出的方法
- 通过对两份模型在不同 SGD 噪声下训练并测量插值误差来定义不稳定性分析
- 将线性插值不稳定性量化为两份训练好网络之间线性路径上的最大障碍
- 通过0-2% 的不稳定性阈值来判定线性模式连通性
- 将不稳定性分析应用到不同初始化和不同训练步骤，针对 MNIST、CIFAR-10、ImageNet 的网络
- 将 IMP 通过回溯至步骤 k 并剪枝以获得匹配的子网进行扩展
- 分析稀疏性区间，以分类何时 IMP 子网是匹配且稳定
实验结果
研究问题
- RQ1对于标准网络，SGD 噪声是否会在不同运行中产生不同极小值，还是产生一个线性连通的单一极小值？
- RQ2在训练的哪个阶段网络才对 SGD 噪声变得稳定，这是否影响 IMP 的结果？
- RQ3IMP 子网是否只有在对 SGD 噪声稳定时才匹配，回溯是否能在更大规模下揭示匹配的子网？
主要发现
- 大多数网络在初始化时对 SGD 噪声不稳定；所有研究对象的网络在训练初期就变得稳定
- 经过训练的一小部分时间后（例如，ResNet-20 约 3%，VGG-16 约 1.5%，ResNet-50 20%，Inception-v3 16%），网络对 SGD 噪声变得稳定且极小值线性连通
- 仅在对 SGD 噪声稳定时，IMP 子网才会匹配；在小任务中稳定可在初始化时发生，或在更大规模时训练早期出现
- 回溯至中间训练步骤的 IMP 子网可以比完整网络更早变得稳定并匹配，使在更大模型中实现非平凡稀疏度的匹配成为可能
- 稳定性起始时间因架构和任务而异，大规模模型需要更多训练才能达到稳定，但达到稳定时可得到匹配的子网
- 跨稀疏度的 IMP 子网显示出稳定性和匹配模式，与识别出的三种稀疏区间（平凡、仅 IMP、非匹配）相吻合
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。