[论文解读] Lottery Jackpots Exist in Pre-trained Models

Yuxin Zhang, Mingbao Lin+3 more|arXiv (Cornell University)|Apr 18, 2021

Advanced Neural Network Applications参考文献 48被引用 4

一句话总结

本文提出了'彩票大奖'（lottery jackpots）——一种存在于未经微调的预训练模型（如VGGNet-19和ResNet-50）中的高性能稀疏子网络，无需进行权重微调。通过利用基于大小的掩码初始化和一种新型的短限制机制以实现高效的掩码搜索，该方法在ImageNet上仅用不到5个训练周期即实现了高达90%的参数剪枝，准确率达到SOTA水平，与现有方法相比显著降低了剪枝成本。

ABSTRACT

Network pruning is an effective approach to reduce network complexity with acceptable performance compromise. Existing studies achieve the sparsity of neural networks via time-consuming weight training or complex searching on networks with expanded width, which greatly limits the applications of network pruning. In this paper, we show that high-performing and sparse sub-networks without the involvement of weight training, termed "lottery jackpots", exist in pre-trained models with unexpanded width. Furthermore, we improve the efficiency for searching lottery jackpots from two perspectives. Firstly, we observe that the sparse masks derived from many existing pruning criteria have a high overlap with the searched mask of our lottery jackpot, among which, the magnitude-based pruning results in the most similar mask with ours. Consequently, our searched lottery jackpot removes 90% weights in ResNet-50, while it easily obtains more than 70% top-1 accuracy using only 5 searching epochs on ImageNet. In compliance with this insight, we initialize our sparse mask using the magnitude-based pruning, resulting in at least 3x cost reduction on the lottery jackpot searching while achieving comparable or even better performance. Secondly, we conduct an in-depth analysis of the searching process for lottery jackpots. Our theoretical result suggests that the decrease in training loss during weight searching can be disturbed by the dependency between weights in modern networks. To mitigate this, we propose a novel short restriction method to restrict change of masks that may have potential negative impacts on the training loss. Our code is available at https://github.com/zyxxmu/lottery-jackpots.

研究动机与目标

• 探究在不进行权重微调的情况下，预训练模型中是否存在高性能、稀疏的子网络（即彩票大奖）。
• 降低现有方法中搜索此类子网络所消耗的计算成本，该成本通常较高。
• 通过引入更优的初始化策略和掩码更新的动态限制机制，提升彩票大奖搜索的效率与收敛性。
• 证明预训练模型中的彩票大奖可达到或超越基于权重训练的剪枝方法的性能表现。

提出的方法

• 提出一种新方法SR-popup，通过基于大小的剪枝初始化稀疏掩码，实现对预训练模型中彩票大奖的高效搜索，该方法显示出与最终大奖掩码高度重叠的特性。
• 引入一种短限制机制，通过限制掩码搜索过程中的权重替换次数，防止对训练损失造成负面影响，其理论基础源于对深层网络中权重依赖性的分析。
• 采用动态调度策略，按迭代逐步增加限制程度，初始阶段以高探索性为主，随后逐步增强限制，以提升收敛性并减少振荡。
• 采用松弛化的掩码公式，通过可微分松弛方法实现掩码的端到端训练，同时保持原始预训练权重不变。
• 以edge-popup算法为基础框架，通过改进初始化和限制机制，将搜索成本降低至少3倍。
• 在CIFAR-10和ImageNet上使用VGGNet-19和ResNet-50验证了该方法，展示了在极低微调量下仍具备高性能。

Figure 1 : Training/Search cost v.s. top-1 accuracy of ResNet-50 [ 21 ] with a sparse rate of $90\%$ on ImageNet [ 22 ] . Search epoch differs from training epoch in that it only trains the mask for indicating the removal or preserve of weights, without modifying the weight value. Our method can qui

实验结果

研究问题

• RQ1 在未经扩展的预训练模型中，是否存在无需权重微调即可实现高性能的稀疏子网络（即彩票大奖）？
• RQ2 能否在保持或提升性能的前提下，显著降低此类彩票大奖的搜索成本？
• RQ3 初始掩码的选择（如基于大小的剪枝）如何影响彩票大奖搜索的效率与结果？
• RQ4 在掩码搜索过程中限制权重替换的影响是什么？应如何设计限制调度以实现最优收敛？
• RQ5 是否可通过理论基础坚实的机制缓解掩码搜索过程中权重依赖带来的负面影响？

主要发现

• 在VGGNet-19中，仅使用原始参数10%的彩票大奖在CIFAR-10上即可达到与完整模型相同的性能，且无需任何权重修改。
• 与基线edge-popup相比，所提方法将彩票大奖搜索成本降低至少3倍，同时实现相当或更优的性能。
• 基于大小的剪枝生成的稀疏掩码与最终彩票大奖掩码重叠度最高，验证了其作为有效初始化策略的合理性。
• 所提出的短限制机制显著加快了掩码搜索的收敛速度并减少了振荡，优于随机和反向调度的变体。
• 在ImageNet上，该方法仅用5个训练周期即在ResNet-50中实现90%稀疏度下超过70%的top-1准确率，展现出极高的效率。
• 消融实验表明，基于大小的初始化和动态限制调度均为实现最优性能的关键组件。