[论文解读] Asymptotic Soft Filter Pruning for Deep Convolutional Neural Networks

Yang He, Xuanyi Dong+4 more|arXiv (Cornell University)|Aug 22, 2018

Advanced Neural Network Applications参考文献 63被引用 7

一句话总结

本文提出渐近软滤波器剪枝（ASFP），一种通过在微调过程中动态更新被剪枝的滤波器并随训练周期逐步增加剪枝率，从而在深层卷积神经网络中动态剪枝滤波器的方法。ASFP通过保持模型容量并实现稳定、渐进的信息集中，使ResNet-50的FLOPs降低超过40%，同时仅造成0.14%的top-5精度下降，优于以往的软剪枝方法。

ABSTRACT

Deeper and wider Convolutional Neural Networks (CNNs) achieve superior performance but bring expensive computation cost. Accelerating such over-parameterized neural network has received increased attention. A typical pruning algorithm is a three-stage pipeline, i.e., training, pruning, and retraining. Prevailing approaches fix the pruned filters to zero during retraining, and thus significantly reduce the optimization space. Besides, they directly prune a large number of filters at first, which would cause unrecoverable information loss. To solve these problems, we propose an Asymptotic Soft Filter Pruning (ASFP) method to accelerate the inference procedure of the deep neural networks. First, we update the pruned filters during the retraining stage. As a result, the optimization space of the pruned model would not be reduced but be the same as that of the original model. In this way, the model has enough capacity to learn from the training data. Second, we prune the network asymptotically. We prune few filters at first and asymptotically prune more filters during the training procedure. With asymptotic pruning, the information of the training set would be gradually concentrated in the remaining filters, so the subsequent training and pruning process would be stable. Experiments show the effectiveness of our ASFP on image classification benchmarks. Notably, on ILSVRC-2012, our ASFP reduces more than 40% FLOPs on ResNet-50 with only 0.14% top-5 accuracy degradation, which is higher than the soft filter pruning (SFP) by 8%.

研究动机与目标

• 为解决硬滤波器剪枝导致的性能下降问题，后者会永久移除滤波器并降低模型容量。
• 缓解一次性剪枝大量滤波器所导致的不可逆信息损失。
• 通过在微调过程中允许被剪枝滤波器更新，提升模型优化稳定性和精度。
• 开发一种在训练过程中逐步增加剪枝率的剪枝策略，以最小化突兀的信息损失。
• 在无需预训练的情况下实现高剪枝率与极小的精度下降。

提出的方法

• 在每个训练周期结束时迭代执行剪枝，从ℓ₂-范数最小的滤波器开始。
• 被剪枝的滤波器不被固定为零，而是在微调过程中持续更新，从而保留完整的优化空间。
• 剪枝率在训练过程中渐进式增加，初期剪枝较少，随后逐步移除更多滤波器。
• 使用ℓ₂-范数作为滤波器重要性度量标准，优先保留具有大权重的滤波器，以更好保留判别性特征。
• 该方法采用三阶段流程：训练、迭代软剪枝并配合微调、最终剪枝但不再更新。
• 该方法在ImageNet和CIFAR-10基准上对ResNet-50和ResNet-110进行了评估。

实验结果

研究问题

• RQ1 允许在微调中更新被剪枝滤波器的软剪枝方法，是否能比硬剪枝保持更高的模型容量并提升精度？
• RQ2 渐进式剪枝——即随时间逐步增加被剪枝滤波器数量——是否能带来更稳定的训练过程并提升性能？
• RQ3 滤波器选择准则（ℓ₁范数与ℓ₂范数）的选择如何影响最终模型的精度？
• RQ4 ASFP是否能在无需预训练的情况下实现具有竞争力的性能，且与现有软剪枝方法相比表现如何？
• RQ5 ASFP性能对超参数（如ASFP间隔和剪枝调度参数D）的敏感度如何？

主要发现

• 在ILSVRC-2012数据集上，ASFP在ResNet-50上实现超过40%的FLOPs降低，仅造成0.14%的top-5精度下降，相比软滤波器剪枝（SFP）性能领先8%。
• 当剪枝率超过40%时，ASFP显著优于SFP，表明其在高密度压缩下具有更强的鲁棒性。
• 当剪枝率低于23%时，剪枝后的模型精度甚至高于基线模型，表明存在正则化效应。
• 使用ℓ₂-范数进行滤波器选择可获得比ℓ₁-范数更高的精度，因为ℓ₂-范数能更有效地保留具有大判别权重的滤波器。
• ASFP性能对参数D的敏感度较低，当D在7到16之间变化时，精度波动小于0.3%。
• ASFP采用超过一个训练周期的间隔（如10个周期）时，可获得比默认单周期间隔更高的精度，表明超参数调优仍有优化空间。