[论文解读] HRank: Filter Pruning using High-Rank Feature Map

Mingbao Lin, Rongrong Ji+5 more|arXiv (Cornell University)|Feb 24, 2020

Advanced Neural Network Applications参考文献 36被引用 11

一句话总结

HRank 提出了一种新颖的滤波器剪枝方法，该方法基于滤波器生成的特征图秩来选择需移除的滤波器，利用了经验观察：生成低秩特征图的滤波器包含的信息更少，因此其重要性也更低。通过将剪枝数学化为基于特征图秩的公式，并在冻结高秩滤波器的前提下进行部分微调，HRank 实现了最先进的压缩效果，且精度损失极小——例如，在 CIFAR-10 上，ResNet-110 的 FLOPs 减少了 58.2%，参数量减少了 59.2%，同时 Top-1 精度仅下降 0.14%。

ABSTRACT

Neural network pruning offers a promising prospect to facilitate deploying deep neural networks on resource-limited devices. However, existing methods are still challenged by the training inefficiency and labor cost in pruning designs, due to missing theoretical guidance of non-salient network components. In this paper, we propose a novel filter pruning method by exploring the High Rank of feature maps (HRank). Our HRank is inspired by the discovery that the average rank of multiple feature maps generated by a single filter is always the same, regardless of the number of image batches CNNs receive. Based on HRank, we develop a method that is mathematically formulated to prune filters with low-rank feature maps. The principle behind our pruning is that low-rank feature maps contain less information, and thus pruned results can be easily reproduced. Besides, we experimentally show that weights with high-rank feature maps contain more important information, such that even when a portion is not updated, very little damage would be done to the model performance. Without introducing any additional constraints, HRank leads to significant improvements over the state-of-the-arts in terms of FLOPs and parameters reduction, with similar accuracies. For example, with ResNet-110, we achieve a 58.2%-FLOPs reduction by removing 59.2% of the parameters, with only a small loss of 0.14% in top-1 accuracy on CIFAR-10. With Res-50, we achieve a 43.8%-FLOPs reduction by removing 36.7% of the parameters, with only a loss of 1.17% in the top-1 accuracy on ImageNet. The codes can be available at https://github.com/lmbxmu/HRank.

研究动机与目标

• 为解决现有滤波器剪枝方法因缺乏理论指导而难以识别非显著组件，导致训练和人力成本过高的问题。
• 开发一种基于特征图内在属性（特别是其秩）的剪枝准则，以指导滤波器移除，而无需修改训练目标。
• 通过冻结生成高秩特征图的滤波器来降低微调成本，这些滤波器包含更重要的信息，且对权重更新不敏感。
• 在标准基准测试上实现高倍数的 FLOPs 和参数压缩比，同时保持模型精度。

提出的方法

• HRank 通过分析每个滤波器在多个输入批次上生成的特征图的秩来评估滤波器的重要性。
• 它利用了经验发现：单个滤波器生成的特征图的平均秩在不同输入批次下保持恒定。
• 优先剪除生成低秩特征图的滤波器，因为其信息量更少，且在微调过程中更容易恢复。
• 该方法通过数学公式基于其输出特征图的平均秩对滤波器进行排序，从而在无需额外约束的情况下实现系统性剪枝。
• 其关键创新在于：在微调过程中冻结一部分生成高秩特征图的滤波器，显著减少训练时间且性能下降可忽略。
• 该方法为训练后剪枝，仅需一次前向传播即可计算特征图秩，因此高效且与标准训练流程兼容。

实验结果

研究问题

• RQ1 为何单个滤波器生成的特征图在不同输入批次下平均秩保持一致？
• RQ2 特征图的秩能否作为可靠且理论依据充分的剪枝准则，而无需修改训练目标？
• RQ3 在微调过程中，保留高秩特征图而不更新其权重的范围有多大？这对模型性能有何影响？
• RQ4 HRank 在 FLOPs 减少、压缩比和 CIFAR-10 与 ImageNet 上的精度保留方面，相较于 SOTA 滤波器剪枝方法表现如何？
• RQ5 基于低秩特征图剪枝与随机剪枝或反向剪枝策略相比，其影响如何？

主要发现

• 在 CIFAR-10 上，HRank 使 ResNet-110 的 FLOPs 减少了 58.2%，参数量减少了 59.2%，Top-1 精度仅下降 0.14%。
• 在 ImageNet 上，HRank 使 ResNet-50 的 FLOPs 减少了 43.8%，参数量减少了 36.7%，Top-1 精度下降 1.17%。
• 消融实验证实，剪除生成低秩特征图的滤波器（HRank）优于随机剪枝或反向剪枝，Edge 和 Reverse 变体表现显著更差。
• 在微调过程中冻结 15–20% 生成高秩特征图的滤波器，仅导致 0.04% 的精度下降（93.13% vs. 93.17%），证明性能影响极小。
• HRank 在精度和压缩效率方面优于 GAL-1-joint 和 ThiNet-50，实现了更优的 FLOPs 和参数压缩，同时保持了具有竞争力的精度。
• 该方法在不引入额外约束或修改训练损失的情况下实现了 SOTA 结果，因此可与标准训练工作流无缝兼容。