[论文解读] Lottery Tickets on a Data Diet: Finding Initializations with Sparse Trainable Networks

Mansheej Paul, Brett W. Larsen+3 more|arXiv (Cornell University)|Jun 2, 2022

Anomaly Detection Techniques and Applications被引用 4

一句话总结

本文研究了在迭代剪枝（IMP）中，早期预训练对发现稀疏可训练子网络的关键作用。研究发现，仅使用少量简单样本进行训练——而非完整数据集——即可获得与之相当的初始化效果，并识别出损失曲面的特性（如线性模式连通性）是预测IMP成功的重要指标。

ABSTRACT

A striking observation about iterative magnitude pruning (IMP; Frankle et al. 2020) is that $\unicode{x2014}$ after just a few hundred steps of dense training $\unicode{x2014}$ the method can find a sparse sub-network that can be trained to the same accuracy as the dense network. However, the same does not hold at step 0, i.e. random initialization. In this work, we seek to understand how this early phase of pre-training leads to a good initialization for IMP both through the lens of the data distribution and the loss landscape geometry. Empirically we observe that, holding the number of pre-training iterations constant, training on a small fraction of (randomly chosen) data suffices to obtain an equally good initialization for IMP. We additionally observe that by pre-training only on "easy" training data, we can decrease the number of steps necessary to find a good initialization for IMP compared to training on the full dataset or a randomly chosen subset. Finally, we identify novel properties of the loss landscape of dense networks that are predictive of IMP performance, showing in particular that more examples being linearly mode connected in the dense network correlates well with good initializations for IMP. Combined, these results provide new insight into the role played by the early phase training in IMP.

研究动机与目标

• 理解为何密集预训练的前几百步对成功的迭代剪枝（IMP）至关重要。
• 探究仅使用训练数据的小部分，特别是‘简单’样本，是否可替代完整数据集预训练以实现IMP的等效初始化。
• 识别密集网络初始化的损失曲面特性，以预测IMP成功结果。
• 对比IMP预训练中数据的作用与密集训练中权重学习率预热的作用。
• 通过识别最优数据与预训练方案，指导更高效的训练策略，以实现稀疏网络的高效发现。

提出的方法

• 在剪枝后的数据集上预训练密集网络：随机选择的数据子集与按EL2N得分筛选的子集（示例难度）。
• 通过评估从每个预训练点剪枝并微调后得到的稀疏子网络的测试准确率，衡量IMP的成功程度。
• 计算从相同初始化独立训练的两个网络之间的训练损失屏障，以评估损失曲面的稳定性。
• 使用在不同数据顺序下训练的密集网络权重之间的线性模式连通性，作为曲面几何的代理指标。
• 通过改变学习率预热时长与数据组成（简单、随机、困难）进行消融实验，评估密集训练中的稳定性。
• 将预训练表现（测试准确率）与损失曲面特性（训练损失屏障、模式连通性）与最终IMP成功程度进行相关性分析。

实验结果

研究问题

• RQ1 能否使用训练数据的小部分，特别是‘简单’示例，替代完整数据集预训练，以实现IMP的等效初始化？
• RQ2 损失曲面特性——特别是训练损失屏障与线性模式连通性——如何预测IMP的成功？
• RQ3 在简单数据上进行预训练是否能减少找到良好IMP初始化所需的时间步数？
• RQ4 IMP预训练中数据的作用与密集训练中学习率预热阶段的数据作用相比如何？
• RQ5 密集网络在初始化阶段的损失曲面是否存在与后续稀疏网络性能强相关的几何特性？

主要发现

• 仅用随机选择的10%数据进行几百步训练，即可获得一种预训练初始化，使IMP找到的稀疏子网络测试准确率与完整数据集预训练相当。
• 在EL2N得分中难度最低的示例上进行预训练，相比随机或完整数据子集，能显著减少找到良好IMP初始化所需的预训练步数。
• 从相同初始化独立训练的两个网络之间的训练损失屏障，与最终IMP表现的相关性高于预训练测试准确率。
• 密集网络在单个示例上的损失曲面线性模式连通性具有预测IMP成功的能力：连通性越高，稀疏子网络性能越好。
• 与IMP预训练相反，在学习率预热阶段使用简单数据会降低训练稳定性和性能，尤其在较长预热时长下更为明显。
• 密集网络在初始化阶段的损失曲面几何特性——特别是训练损失屏障与示例级别的模式连通性——对IMP成功的预测能力，强于仅依赖预训练准确率。