[论文解读] How Not to Give a FLOP: Combining Regularization and Pruning for Efficient Inference

Tai Vu, Emily Wen+1 more|arXiv (Cornell University)|Mar 30, 2020

Image Enhancement Techniques参考文献 31被引用 4

一句话总结

本文提出在ResNet架构中结合mixup和cutout正则化与软滤波剪枝，以同时降低FLOPs并提升推理效率，且不损失准确率。该组合方法相比基线模型实现了最高14.8%的FLOPs减少和最高2.03%的准确率提升，优于单独使用任一技术的效果。

ABSTRACT

The challenge of speeding up deep learning models during the deployment phase has been a large, expensive bottleneck in the modern tech industry. In this paper, we examine the use of both regularization and pruning for reduced computational complexity and more efficient inference in Deep Neural Networks (DNNs). In particular, we apply mixup and cutout regularizations and soft filter pruning to the ResNet architecture, focusing on minimizing floating-point operations (FLOPs). Furthermore, by using regularization in conjunction with network pruning, we show that such a combination makes a substantial improvement over each of the two techniques individually.

研究动机与目标

• 为解决深度神经网络在推理阶段计算效率低下的问题，尤其是在资源受限设备上的应用。
• 探究正则化与剪枝是否能够协同作用，而非相互竞争。
• 评估正则化对计算成本的影响，这是先前研究中较少探索的领域。
• 在准确率损失最小的情况下实现显著的FLOP减少，以支持DNN的高效部署。
• 验证正则化与剪枝的结合方法是否优于单独应用任一方法的性能。

提出的方法

• 在训练过程中应用mixup和cutout正则化，以提升泛化能力和鲁棒性。
• 使用软滤波剪枝移除低幅度的卷积滤波器，从而减少参数量和FLOPs。
• 在CIFAR-10数据集上训练ResNet架构（20、32、44、56、110）时，结合使用正则化与剪枝。
• 将剪枝率设定为0.9（每层保留10%的滤波器），以实现显著的FLOPs减少。
• 以FLOPs和准确率为指标，对比控制组、仅正则化、仅剪枝和组合模型的性能。
• 在标准基准上评估模型，以衡量计算成本与准确率之间的权衡。

实验结果

研究问题

• RQ1 像mixup和cutout这样的正则化技术是否能降低推理阶段的计算复杂度，还是反而引入开销？
• RQ2 将正则化与剪枝结合是否能带来优于单独使用任一技术的性能？
• RQ3 软滤波剪枝在ResNet架构中能在不降低准确率的前提下将FLOPs减少多少？
• RQ4 不同的剪枝率在正则化与剪枝之间如何影响协同效应？
• RQ5 该组合方法是否能在显著减少FLOP数量的同时保持或提升准确率？

主要发现

• mixup与剪枝的结合使ResNet-56的准确率最高提升1.31%，同时FLOPs减少14.7%。
• cutout与剪枝共同作用使ResNet-56的准确率最高提升2.03%，FLOPs减少14.7%。
• 软滤波剪枝在所有ResNet尺寸中均将FLOPs减少约15%，即使剪枝率为0.9时亦然。
• 同时使用正则化与剪枝的模型准确率高于仅剪枝的模型，证明了协同效应的存在。
• 与仅正则化模型相比，该组合方法将FLOPs减少了约15%，且准确率保持不变或略有提升。
• 结果验证了正则化与剪枝可有效结合，从而在DNN推理中同时提升效率与准确率。