[论文解读] Demystifying Neural Network Filter Pruning

Zhuwei Qin, Fuxun Yu+2 more|arXiv (Cornell University)|Oct 29, 2018

Advanced Neural Network Applications参考文献 7被引用 6

一句话总结

本文提出一种面向功能的滤波器剪枝方法，通过分析滤波器的特征提取模式而非依赖ℓ₁范数等大小排序，识别并移除冗余滤波器。该方法利用激活最大化可视化滤波器功能，并通过聚类识别功能相似的滤波器，实现高模型准确率且几乎无需微调，表明当剪枝基于功能信息时，微调在很大程度上并非必要。

ABSTRACT

Based on filter magnitude ranking (e.g. L1 norm), conventional filter pruning methods for Convolutional Neural Networks (CNNs) have been proved with great effectiveness in computation load reduction. Although effective, these methods are rarely analyzed in a perspective of filter functionality. In this work, we explore the filter pruning and the retraining through qualitative filter functionality interpretation. We find that the filter magnitude based method fails to eliminate the filters with repetitive functionality. And the retraining phase is actually used to reconstruct the remained filters for functionality compensation for the wrongly-pruned critical filters. With a proposed functionality-oriented pruning method, we further testify that, by precisely addressing the filter functionality redundancy, a CNN can be pruned without considerable accuracy drop, and the retraining phase is unnecessary.

研究动机与目标

• 探究为何基于大小的滤波器剪枝（如ℓ₁范数）在实现高效计算减少的同时仍导致准确率下降。
• 从滤波器功能性的角度分析微调在传统剪枝流程中的作用。
• 开发一种针对功能冗余而非大小的剪枝方法，以最小化准确率下降。
• 证明当剪枝由滤波器的功能独特性引导时，微调并非必要。

提出的方法

• 使用激活最大化（AM）通过生成能最大程度激活每个滤波器的输入图像，来可视化滤波器的功能性。
• 应用K均值聚类将具有相似可视化模式的滤波器分组，从而在聚类层面识别功能冗余。
• 使用基于梯度的显著性（1/N ∑‖∂Z/∂Aᵢ(xₙ)‖）计算贡献指数γᵢ，对每个聚类内的滤波器进行排序。
• 优先剪除贡献指数最低的滤波器，剪枝率与聚类大小成正比（冗余程度更高的聚类被更多剪枝）。
• 在网络各层逐层应用该方法，以减少整体功能冗余。
• 通过准确率恢复曲线和微调过程中滤波器功能稳定性的可视化分析来评估性能。

实验结果

研究问题

• RQ1 为何基于大小的滤波器剪枝（如ℓ₁范数）尽管能有效减少计算量，仍会导致准确率下降？
• RQ2 在传统滤波器剪枝中，微调阶段的真正作用是什么——是功能恢复还是网络重构？
• RQ3 能否精确识别并利用滤波器的功能冗余，以在不损失准确率的前提下提升剪枝效率？
• RQ4 当剪枝由功能独特性而非大小引导时，微调在多大程度上可以被消除？

主要发现

• 基于大小的剪枝（如ℓ₁范数）无法移除功能冗余的滤波器，因为它会保留高大小的滤波器，即使这些滤波器提取的是相同特征。
• 传统剪枝中微调的主要作用是重建剩余滤波器的功能，表明剪枝会破坏原始网络的结构组成。
• 在微调过程中，滤波器的功能发生显著变化，尤其是那些大小小但功能重要的滤波器。
• 所提出的面向功能的剪枝方法在微调过程中保持了滤波器功能的稳定性，可视化模式（如猫、鹿）在各次迭代中保持一致。
• 与ℓ₁范数剪枝相比，使用该方法剪枝的模型在更高剪枝率下表现出显著更慢的准确率下降速度。
• 准确率恢复更快且对微调的依赖性更低，因为主要的准确率变化来自微调，而非大规模的功能重构。