[论文解读] Lost in Pruning: The Effects of Pruning Neural Networks beyond Test Accuracy

Lucas Liebenwein, Cenk Baykal+3 more|arXiv (Cornell University)|Mar 4, 2021

Advanced Neural Network Applications参考文献 63被引用 29

一句话总结

论文认为，为保持测试准确率而对神经网络进行剪枝可能会降低对鲁棒性和对分布偏移的泛化能力；剪枝潜力因任务和数据分布而异，这挑战了过参数化的假设。

ABSTRACT

Neural network pruning is a popular technique used to reduce the inference costs of modern, potentially overparameterized, networks. Starting from a pre-trained network, the process is as follows: remove redundant parameters, retrain, and repeat while maintaining the same test accuracy. The result is a model that is a fraction of the size of the original with comparable predictive performance (test accuracy). Here, we reassess and evaluate whether the use of test accuracy alone in the terminating condition is sufficient to ensure that the resulting model performs well across a wide spectrum of "harder" metrics such as generalization to out-of-distribution data and resilience to noise. Across evaluations on varying architectures and data sets, we find that pruned networks effectively approximate the unpruned model, however, the prune ratio at which pruned networks achieve commensurate performance varies significantly across tasks. These results call into question the extent of \emph{genuine} overparameterization in deep learning and raise concerns about the practicability of deploying pruned networks, specifically in the context of safety-critical systems, unless they are widely evaluated beyond test accuracy to reliably predict their performance. Our code is available at https://github.com/lucaslie/torchprune.

研究动机与目标

• 以在保持性能的同时减少参数为目标进行剪枝，但质疑仅以测试准确率作为唯一剪枝标准的充分性。
• 引入功能距离度量来比较剪枝网络与未剪枝的父网络。
• 将剪枝潜力定义为在保持名义性能下的最大剪枝比，并研究其在任务和分布中的变化。
• 研究剪枝如何影响对分布偏移、噪声和分布外数据的鲁棒性。
• 在分布偏移和再训练期间提供剪枝的实用指南。

提出的方法

• 在数据集（CIFAR-10、ImageNet、PASCAL VOC）和架构（ResNet、WRN、DenseNet、VGG）上使用迭代剪枝-再训练流程（非结构化与结构化剪枝）。
• 比较剪枝方法：权重阈值化（WT）、SiPP、滤波器阈值化（FT）和可证明的滤波器剪枝（PFP）。
• 用基于信息特征和噪声相似性的新的距离度量正式化功能相似性。
• 定义剪枝潜力和过剩损失以量化在分布偏移下的鲁棒性（名义数据与分布外数据）。
• 在特征重要性范数和层级剪枝预算下进行评估，并在腐蚀（CIFAR10-C、ImageNet-C）和噪声条件下评估性能。
• 给出 PruneRetrain（算法 1）的算法描述和实验设置。

实验结果

研究问题

• RQ1 剪枝后的网络在各任务和剪枝比率下是否仍然与未剪枝父网络在功能上相似？
• RQ2 剪枝潜力在任务、架构和数据分布下有何变化？
• RQ3 剪枝启用的模型在名义测试准确率保持不变的同时，在分布外或有噪声数据上是否性能下降？
• RQ4 剪枝指南是否能考虑分布偏移以避免安全相关的失败？

主要发现

• 剪枝后的模型在功能上与未压缩父模型相似，并且在不同剪枝比率下可以与单独训练的网络区分开。
• 剪枝潜力在任务和数据分布间差异显著，往往在具有挑战性的推理任务上较低。
• 剪枝网络在分布偏移和噪声下往往更脆弱，即使名义准确度与未剪枝模型相同。
• 在分布外数据上的性能不能仅从名义测试准确度推断，给部署带来安全隐患。
• 剪枝指南建议在分布偏移可能发生时避免剪枝，并使用数据增强或鲁棒训练来缓解鲁棒性损失。
• 该研究提供一个通过剪枝潜力衡量过参数化的框架，并建议进行超越测试准确度的任务特定评估。