[论文解读] Pruning Convolutional Neural Networks for Resource Efficient Inference

Pavlo Molchanov, Stephen Tyree+3 more|arXiv (Cornell University)|Nov 19, 2016

Domain Adaptation and Few-Shot Learning参考文献 23被引用 1,204

一句话总结

本文提出基于 Taylor expansion 的卷积核裁剪准则，将裁剪与微调交错进行以构建资源高效的CNN，在迁移学习任务和大规模 ImageNet 上得到验证，实现了显著的 FLOPs 下降和适度的精度损失。

ABSTRACT

We propose a new formulation for pruning convolutional kernels in neural networks to enable efficient inference. We interleave greedy criteria-based pruning with fine-tuning by backpropagation - a computationally efficient procedure that maintains good generalization in the pruned network. We propose a new criterion based on Taylor expansion that approximates the change in the cost function induced by pruning network parameters. We focus on transfer learning, where large pretrained networks are adapted to specialized tasks. The proposed criterion demonstrates superior performance compared to other criteria, e.g. the norm of kernel weights or feature map activation, for pruning large CNNs after adaptation to fine-grained classification tasks (Birds-200 and Flowers-102) relaying only on the first order gradient information. We also show that pruning can lead to more than 10x theoretical (5x practical) reduction in adapted 3D-convolutional filters with a small drop in accuracy in a recurrent gesture classifier. Finally, we show results for the large-scale ImageNet dataset to emphasize the flexibility of our approach.

研究动机与目标

• 在迁移学习环境中通过对特征图进行结构化裁剪来降低 CNN 推断成本。
• 提出一种快速的梯度基显著性准则，用于识别最不重要的待裁剪特征图。
• 表明将裁剪与微调交错进行可在降低 FLOPs 和内存占用的同时保持泛化能力。
• 展示扩展性，覆盖包括 ImageNet 在内的大型网络和数据集，并实现实际速度提升。

提出的方法

• 将裁剪定义为对特征图的迭代、贪心过程，并引入将特征图设为零的裁剪门。
• 引入显著性准则，包括基于 Taylor expansion 的裁剪（Taylor criterion），用于近似裁剪一个特征图时损失的变化。
• 将 Taylor criterion 与重量大小、激活、互信息以及 Optimal Brain Damage (OBD) 等替代方案进行比较。
• 在各层之间对准则进行归一化，以实现全局裁剪决策。
• 可选地应用 FLOPs 正则化，以引导裁剪向更低计算成本偏向。
• 证明裁剪可以与基于反向传播的微调交错进行，以保持精度。

实验结果

研究问题

• RQ1 如何高效地作出裁剪决策，以在减小网络规模和 FLOPs 的同时尽量减少损失变化？
• RQ2 基于 Taylor expansion 的显著性度量在裁剪 CNN 特征图方面是否优于其他准则，尤其在迁移学习中？
• RQ3 裁剪与微调交错进行对不同数据集和架构的准确性与速度有何影响？
• RQ4 基于 FLOPs 的裁剪在多种硬件平台上能否带来有意义的硬件加速？

主要发现

• 基于 Taylor expansion 的显著性准则（Taylor criterion）与 oracle 的相关性更高，裁剪性能也优于其他准则。
• 对裁剪准则进行逐层归一化可提升跨层一致性与全局裁剪效果。
• 使用 Taylor criterion 的迭代裁剪在显著降低 FLOPs 的同时保持精度，在迁移学习任务中优于替代方案。
• 对手势识别的 3D-CNN 进行裁剪，在微调后实现大约 12.6x GFLOPs 的降低，精度损失约为 2.5%。
• 对于 ImageNet 规模的网络，Taylor-based 裁剪结合充分的微调提供明显的加速和裁剪后的顶级-5 准确性具有竞争力。
• 在多种硬件环境中（包括 CPU 和 GPU）展示了实际的加速效果。