[论文解读] Convolutional Neural Network Pruning with Structural Redundancy Reduction

Zi Wang, Chengcheng Li+1 more|arXiv (Cornell University)|Apr 8, 2021

Advanced Neural Network Applications参考文献 50被引用 14

一句话总结

本文提出了一种新颖的通道剪枝方法，优先减少结构冗余而非基于滤波器重要性排序。该方法使用基于图的度量（ℓ-覆盖数和商空间大小）识别最冗余的层进行剪枝。实验表明，该方法实现了最先进性能，在ResNet50上将FLOPs减少44.1%，ImageNet上的top-1准确率仅下降0.37%。

ABSTRACT

Convolutional neural network (CNN) pruning has become one of the most successful network compression approaches in recent years. Existing works on network pruning usually focus on removing the least important filters in the network to achieve compact architectures. In this study, we claim that identifying structural redundancy plays a more essential role than finding unimportant filters, theoretically and empirically. We first statistically model the network pruning problem in a redundancy reduction perspective and find that pruning in the layer(s) with the most structural redundancy outperforms pruning the least important filters across all layers. Based on this finding, we then propose a network pruning approach that identifies structural redundancy of a CNN and prunes filters in the selected layer(s) with the most redundancy. Experiments on various benchmark network architectures and datasets show that our proposed approach significantly outperforms the previous state-of-the-art.

研究动机与目标

• 挑战传统观点，即剪枝最不重要的滤波器可获得最优剪枝结果。
• 从理论上和实证上证明，剪枝结构冗余最高的层可实现更好的模型压缩与准确率保持。
• 开发一种层自适应剪枝框架，利用基于图的冗余度量识别并剪枝最冗余层中的滤波器。
• 在多种架构和数据集上验证该方法，展示其一致的最先进性能。

提出的方法

• 将每个卷积层建模为图，其中滤波器为节点，边权重基于特征图的余弦相似度。
• 使用两种图论度量——ℓ-覆盖数和商空间大小——量化每层的结构冗余。
• 选择冗余度评分最高的层进行剪枝，而非基于全局重要性排序选择滤波器。
• 使用简单的基于幅度的准则剪枝选定层中的滤波器，并在每次剪枝后迭代重新评估冗余度。
• 该方法由一个阈值参数γ控制，影响图的连通性及层冗余估计。
• 在ResNet50和AlexNet等架构上，使用ImageNet和CIFAR-10等标准基准进行评估。

Figure 1: Overall workflow of the proposed approach. The number below each graph refers to the measurement of redundancy, which are just used for the illustration purpose and do not reflect the real measurements of the graphs.

实验结果

研究问题

• RQ1 剪枝结构冗余最高的层是否在性能上显著优于对所有层中重要性最低的滤波器进行剪枝？
• RQ2 基于图的结构冗余度量是否能有效识别适合剪枝的层，而无需依赖滤波器重要性评分？
• RQ3 冗余度量选择（如滤波器数量、PCA、基于图的方法）如何影响剪枝性能与准确率保持？
• RQ4 所提方法是否能在多种CNN架构中实现FLOPs减少与准确率保持方面的最先进结果？

主要发现

• 从理论上和实证上均表明，剪枝结构冗余最高的层显著优于对所有层中重要性最低的滤波器进行剪枝。
• 所提出的基于图的冗余度量（SRR-GR）表现最佳，在ResNet50上将FLOPs减少44.1%，ImageNet上的top-1准确率仅下降0.37%。
• 即使采用简单的冗余度量（如滤波器数量，SRR-NOF），其性能也与近期最先进方法相当，验证了基于冗余度剪枝的核心洞见。
• 使用基于PCA的冗余估计（SRR-PCA）可进一步提升性能，当剪枝44%的FLOPs时，top-1和top-5准确率下降分别降至0.94%和0.38%。
• 该方法能动态适应最冗余的层进行剪枝，避免对冗余度较低的层（如AlexNet中的浅层）进行不必要的剪枝。
• 该方法对超参数γ具有鲁棒性，最优性能在γ = 0.034时达到，此时正确识别出AlexNet中的第3层为最冗余层。