[论文解读] Sanity-Checking Pruning Methods: Random Tickets can Win the Jackpot

Jingtong Su, Yihang Chen+5 more|arXiv (Cornell University)|Sep 22, 2020

Software Testing and Debugging Techniques参考文献 46被引用 13

一句话总结

本文通过展示随机子网络——'随机票券'——在非结构化剪枝中可匹配或超越依赖数据的'初始票券'，挑战了神经网络剪枝中的核心假设。通过在剪枝阶段引入数据污染和逐层重新排列剪枝权重的合理性检验，作者表明，高性能并不要求依赖数据或特定网络结构，从而提出一种新的零样本方法'随机票券'，并结合一种混合方法进一步提升准确率。

ABSTRACT

Network pruning is a method for reducing test-time computational resource requirements with minimal performance degradation. Conventional wisdom of pruning algorithms suggests that: (1) Pruning methods exploit information from training data to find good subnetworks; (2) The architecture of the pruned network is crucial for good performance. In this paper, we conduct sanity checks for the above beliefs on several recent unstructured pruning methods and surprisingly find that: (1) A set of methods which aims to find good subnetworks of the randomly-initialized network (which we call "initial tickets"), hardly exploits any information from the training data; (2) For the pruned networks obtained by these methods, randomly changing the preserved weights in each layer, while keeping the total number of preserved weights unchanged per layer, does not affect the final performance. These findings inspire us to choose a series of simple \emph{data-independent} prune ratios for each layer, and randomly prune each layer accordingly to get a subnetwork (which we call "random tickets"). Experimental results show that our zero-shot random tickets outperform or attain a similar performance compared to existing "initial tickets". In addition, we identify one existing pruning method that passes our sanity checks. We hybridize the ratios in our random ticket with this method and propose a new method called "hybrid tickets", which achieves further improvement. (Our code is publicly available at https://github.com/JingtongSu/sanity-checking-pruning)

研究动机与目标

• 挑战广泛持有的观点，即剪枝方法必须利用训练数据以找到有效的子网络。
• 检验剪枝网络的架构结构是否真正对性能至关重要。
• 开发一种数据无关的零样本剪枝方法，实现具有竞争力或更优的性能。
• 识别并融合一种通过严格合理性检验的剪枝方法，从而实现进一步的性能提升。

提出的方法

• 提出两项合理性检验：在剪枝步骤中引入数据污染，以及通过逐层重新排列权重以破坏网络结构，同时保持稀疏性。
• 将这四项来自ICLR 2019–2020的近期非结构化剪枝方法应用于检验，并分类为'初始票券'与'部分训练票券'。
• 通过在每层应用固定且数据无关的剪枝比例，并随机选择保留的权重，设计出'随机票券'，不使用任何训练数据。
• 识别出一种现有方法——学习率重置——通过了合理性检验，并将其逐层剪枝比例与随机票券结合，形成'混合票券'。
• 通过标准微调训练所得子网络，评估其在CIFAR-10和CIFAR-100上的性能。
• 使用逐层重新排列作为对抗性测试，验证性能对架构变化的不变性，从而确认方法的鲁棒性。

实验结果

研究问题

• RQ1 剪枝方法是否真的需要利用训练数据信息来找到有效的子网络？
• RQ2 剪枝网络的特定架构是否对实现高性能至关重要？
• RQ3 一种数据无关的零样本剪枝方法能否超越或匹配依赖数据的'初始票券'方法？
• RQ4 结合一种通过数据检验的剪枝方法与随机剪枝比例的混合方法，能否进一步提升性能？

主要发现

• 被归类为'初始票券'的剪枝方法并未真正利用训练数据，因为当在剪枝阶段污染训练数据时，性能并未发生变化。
• 对保留权重进行逐层重新排列（破坏原始架构）并未导致性能下降，表明网络架构并非关键因素。
• 通过每层固定且数据无关的剪枝比例生成的'随机票券'，在CIFAR-10和CIFAR-100上实现了与'初始票券'相当或更优的性能。
• 混合票券方法，结合学习率重置的剪枝比例与随机票券的初始化方式，进一步提升了准确率，尤其在高稀疏度下表现显著。
• 在CIFAR-10上使用VGG19模型、98%稀疏度时，混合票券达到93.52%的准确率，优于学习率重置（10.00%）和OBD（93.49%），显示出显著提升。
• 结果在ImageNet上也具有泛化性，经同期工作验证，表明发现并非局限于小规模数据集。