[论文解读] A Closer Look at Structured Pruning for Neural Network Compression

Elliot J. Crowley, Jack Turner+2 more|arXiv (Cornell University)|Oct 10, 2018

Advanced Neural Network Applications参考文献 47被引用 22

一句话总结

本文研究了神经网络压缩中的结构化剪枝，发现从零开始训练更小、宽度更窄的网络在CIFAR-10和ImageNet上始终优于剪枝后微调的模型。作者证明了剪枝后的架构可被轻易近似，从而构建出具有竞争力的“仿生”网络，并表明宽度缩减的网络在CPU和GPU上均实现了显著更快的推理速度，归因于更高的资源效率，从而质疑了剪枝在提升速度与准确率方面的必要性。

ABSTRACT

Structured pruning is a popular method for compressing a neural network: given a large trained network, one alternates between removing channel connections and fine-tuning; reducing the overall width of the network. However, the efficacy of structured pruning has largely evaded scrutiny. In this paper, we examine ResNets and DenseNets obtained through structured pruning-and-tuning and make two interesting observations: (i) reduced networks---smaller versions of the original network trained from scratch---consistently outperform pruned networks; (ii) if one takes the architecture of a pruned network and then trains it from scratch it is significantly more competitive. Furthermore, these architectures are easy to approximate: we can prune once and obtain a family of new, scalable network architectures that can simply be trained from scratch. Finally, we compare the inference speed of reduced and pruned networks on hardware, and show that reduced networks are significantly faster. Code is available at https://github.com/BayesWatch/pytorch-prunes.

研究动机与目标

• 评估结构化剪枝与微调在神经网络压缩中的有效性，与从零开始训练更小、宽度更窄的网络进行对比。
• 探究通过结构化剪枝获得的网络架构是否可被重新用作高效、可训练的架构（即‘仿生’网络），以实现性能提升。
• 在标准硬件（CPU和GPU）上对剪枝网络与缩减网络的推理速度进行基准测试，以评估其在真实场景下的效率。
• 挑战结构化剪枝对于高效部署是必要的假设，尤其是在推理速度和参数效率为关键部署约束时。

提出的方法

• 在CIFAR-10和ImageNet数据集上，对WideResNet和DenseNet架构应用ℓ₁-范数和Fisher剪枝。
• 在基于显著性度量的通道剪枝与微调剪枝网络之间交替进行，以维持准确率。
• 通过系统性地减少原始网络的宽度，从零开始训练构建缩减网络。
• 通过保留剪枝后剩余的通道结构，并从零开始重新训练，从剪枝模型中推导出“仿生”架构。
• 在相同条件下，对剪枝模型和缩减模型在CPU（Intel Core i7）和GPU（NVIDIA 1080Ti）上进行推理速度基准测试。
• 通过比较所有模型的参数量、MACs、top-1准确率和推理时间，评估效率与性能之间的权衡。

实验结果

研究问题

• RQ1 结构化剪枝与微调是否能产生优于从零开始训练更小、宽度更窄网络的模型？
• RQ2 通过结构化剪枝生成的架构模式是否可在从零开始训练时被复用，以构建具有竞争力的模型？
• RQ3 在通用硬件上，剪枝网络的推理速度与缩减网络相比如何？
• RQ4 剪枝对每参数MACs比率有何影响，这又如何影响资源效率？
• RQ5 当推理速度和参数效率是关键部署约束时，结构化剪枝是否仍具优势？

主要发现

• 在给定参数预算下，从零开始训练的缩减网络在CIFAR-10和ImageNet上始终优于剪枝后微调的模型。
• 从零开始重新训练的剪枝网络（即‘仿生’架构）在准确率上不仅超过原始剪枝微调模型，也优于缩减网络，尤其在残差网络中表现更优。
• 缩减网络在CPU和GPU上的推理时间显著快于剪枝网络，其每参数MACs比率最高可达剪枝模型的3.5倍。
• 剪枝后的ResNet-34-B模型虽达到ResNet-18的错误率，但推理速度慢33%，表明其资源效率低下。
• ResNet-34-A模型与ResNet-18参数量相近，错误率更低，但推理速度慢33%，表明剪枝降低了吞吐效率。
• 本研究结论认为，结构化剪枝在通用硬件上会损害推理吞吐量，因此在追求速度与效率时，缩减深度网络是更优的替代方案。