[论文解读] Meta Filter Pruning to Accelerate Deep Convolutional Neural Networks.

Yang He, Ping Liu+2 more|arXiv (Cornell University)|Apr 8, 2019

Advanced Neural Network Applications参考文献 38被引用 8

一句话总结

本文提出元滤波器剪枝（MFP），一种新颖的滤波器剪枝方法，该方法在训练过程中联合考虑滤波器冗余性与动态滤波器分布变化。通过引入基于滤波器距离的准则以及用于自适应准则选择的元学习框架，MFP 在 ResNet-50 上将 FLOPs 减少 50% 以上，且在 ImageNet-2012 上仅造成 0.44% 的 top-5 准确率下降。

ABSTRACT

Existing methods usually utilize pre-defined criterions, such as p-norm, to prune unimportant filters. There are two major limitations in these methods. First, the relations of the filters are largely ignored. The filters usually work jointly to make an accurate prediction in a collaborative way. Similar filters will have equivalent effects on the network prediction, and the redundant filters can be further pruned. Second, the pruning criterion remains unchanged during training. As the network updated at each iteration, the filter distribution also changes continuously. The pruning criterions should also be adaptively switched. In this paper, we propose Meta Filter Pruning (MFP) to solve the above problems. First, as a complement to the existing p-norm criterion, we introduce a new pruning criterion considering the filter relation via filter distance. Additionally, we build a meta pruning framework for filter pruning, so that our method could adaptively select the most appropriate pruning criterion as the filter distribution changes. Experiments validate our approach on two image classification benchmarks. Notably, on ILSVRC-2012, our MFP reduces more than 50% FLOPs on ResNet-50 with only 0.44% top-5 accuracy loss.

研究动机与目标

• 解决现有滤波器剪枝方法忽略滤波器关系且使用静态剪枝准则的局限性。
• 通过识别并移除对预测贡献相似的冗余滤波器，提升模型效率。
• 在训练过程中自适应切换剪枝准则，以匹配不断演变的滤波器分布。
• 开发一种元剪枝框架，以在每个训练阶段选择最合适的准则。

提出的方法

• 提出一种基于滤波器距离的新剪枝准则，以捕捉滤波器之间的相似性与冗余性。
• 设计一种元剪枝框架，以学习在每个训练迭代中选择最优剪枝准则。
• 将 p-范数准则与滤波器距离准则相结合，以提升剪枝精度。
• 训练元学习器，基于当前滤波器分布统计信息预测最佳剪枝策略。
• 采用可微架构，以支持剪枝策略的端到端训练。
• 在训练过程中以结构化、逐层方式应用所选准则进行滤波器剪枝。

实验结果

研究问题

• RQ1 如何在标准 p-范数准则之外更好地捕捉滤波器冗余性？
• RQ2 在训练过程中动态调整剪枝准则是否能提升剪枝效率？
• RQ3 通过距离度量引入滤波器相似性是否能带来更好的模型压缩效果？
• RQ4 元学习框架能否有效在不同训练阶段选择最佳剪枝策略？

主要发现

• MFP 在 ResNet-50 上将 FLOPs 减少 50% 以上，同时保持高准确率。
• 该方法在 ILSVRC-2012 基准测试上仅造成 0.44% 的 top-5 准确率下降。
• 滤波器距离准则能有效识别可安全移除的冗余滤波器。
• 元剪枝框架成功适应了训练过程中滤波器分布的变化。
• p-范数与滤波器距离准则的结合，相比单独使用任一准则，均能提升剪枝性能。
• 该方法在不同网络架构与数据集上均表现出良好的泛化能力。