[论文解读] Filter Pruning via Geometric Median for Deep Convolutional Neural Networks Acceleration

Yang He, Ping Liu+3 more|arXiv (Cornell University)|Nov 1, 2018

Advanced Neural Network Applications参考文献 47被引用 22

一句话总结

本文提出了一种基于几何中位数的滤波器剪枝方法（FPGM），这是一种新颖的滤波器剪枝方法，通过利用滤波器特征图的几何中位数来识别并移除具有冗余信息的滤波器，而非依赖于基于范数的重要性度量标准。FPGM在性能上达到当前最先进水平：在ResNet-110上实现超过52%的FLOPs减少，CIFAR-10上相对准确率提升2.69%；在ResNet-101上实现超过42%的FLOPs减少，且在ImageNet上top-5准确率无下降。

ABSTRACT

Previous works utilized ''smaller-norm-less-important'' criterion to prune filters with smaller norm values in a convolutional neural network. In this paper, we analyze this norm-based criterion and point out that its effectiveness depends on two requirements that are not always met: (1) the norm deviation of the filters should be large; (2) the minimum norm of the filters should be small. To solve this problem, we propose a novel filter pruning method, namely Filter Pruning via Geometric Median (FPGM), to compress the model regardless of those two requirements. Unlike previous methods, FPGM compresses CNN models by pruning filters with redundancy, rather than those with ''relatively less'' importance. When applied to two image classification benchmarks, our method validates its usefulness and strengths. Notably, on CIFAR-10, FPGM reduces more than 52% FLOPs on ResNet-110 with even 2.69% relative accuracy improvement. Moreover, on ILSVRC-2012, FPGM reduces more than 42% FLOPs on ResNet-101 without top-5 accuracy drop, which has advanced the state-of-the-art. Code is publicly available on GitHub: https://github.com/he-y/filter-pruning-geometric-median

研究动机与目标

• 识别基于范数的滤波器剪枝标准的潜在局限性，这些标准依赖于两个严格条件：范数偏差较大且最小范数较小。
• 提出一种新滤波器剪枝方法，通过关注滤波器冗余性而非相对重要性，摆脱对这些限制性假设的依赖。
• 在保持或甚至提升标准基准测试集上的准确率的同时，实现更优的模型压缩与推理加速。
• 在包括CIFAR-10和ILSVRC-2012在内的多种架构与数据集上，展示基于几何中位数剪枝方法的有效性。

提出的方法

• FPGM计算每一卷积层内滤波器的几何中位数，基于滤波器之间的相互关系识别最易被替换的滤波器。
• 距离几何中位数最近的滤波器被视为冗余，因此被剪枝，因为它们可由剩余滤波器有效表示而不会造成显著性能损失。
• 该方法使用迭代重加权算法来近似几何中位数，以最小化到层内所有滤波器的距离总和。
• 使用距离函数（特别是ℓ₁-范数或余弦距离）来度量特征图空间中滤波器之间的相似性。
• 剪枝过程在训练期间以预定间隔执行，支持端到端优化。
• 该方法与微调结合使用，以在剪枝后进一步提升准确率。

实验结果

研究问题

• RQ1 当范数偏差较小时或最小范数不可忽略时，基于范数的滤波器剪枝标准是否失效？
• RQ2 在后者的假设被违反的剪枝场景中，基于几何中位数的方法是否能优于基于范数的标准？
• RQ3 基于冗余性而非相对重要性的滤波器剪枝是否能带来更好的模型压缩效果与准确率保持？
• RQ4 当基于范数的标准失效时，FPGM在不同网络架构与数据集上的表现如何，特别是针对CIFAR-10和ILSVRC-2012？
• RQ5 FPGM能否与其它压缩技术有效结合，以进一步提升模型效率？

主要发现

• 在CIFAR-10上，FPGM在ResNet-110上实现超过52%的FLOPs减少，同时相比基线模型实现2.69%的相对准确率提升。
• 在ILSVRC-2012上，FPGM在ResNet-101上实现超过42%的FLOPs减少，top-5准确率无下降，仅损失0.05%的top-1准确率。
• 在ResNet-101上，FPGM在相似FLOP减少水平下，相比最先进方法[15]提升了1.28%的top-5准确率。
• 对于ResNet-50，FPGM结合微调后实现的推理加速优于[16]，且准确率高出0.85%。
• 消融实验表明，FPGM对剪枝间隔具有鲁棒性，在18%和40% FLOP减少水平下，性能优于未剪枝基线模型。
• 特征图可视化结果表明，被剪枝的滤波器（如7、23、27）可被其他滤波器（如5、12、16、0、4、33）有效替代，以捕捉竹子和熊猫轮廓等结构特征。