[论文解读] Building Efficient ConvNets using Redundant Feature Pruning

Babajide O. Ayinde, Jacek M. Żurada|arXiv (Cornell University)|Feb 21, 2018

Advanced Neural Network Applications参考文献 21被引用 50

一句话总结

本论文提出一种基于聚合聚类的剪枝方法，通过删除冗余的滤波器及其特征图，在 CIFAR-10 模型上将推理的 FLOPs 下降幅度高达约 40%，同时保持有竞争力的准确率。剪枝后的再训练有助于在不改变超参数的情况下恢复性能。

ABSTRACT

This paper presents an efficient technique to prune deep and/or wide convolutional neural network models by eliminating redundant features (or filters). Previous studies have shown that over-sized deep neural network models tend to produce a lot of redundant features that are either shifted version of one another or are very similar and show little or no variations; thus resulting in filtering redundancy. We propose to prune these redundant features along with their connecting feature maps according to their differentiation and based on their relative cosine distances in the feature space, thus yielding smaller network size with reduced inference costs and competitive performance. We empirically show on select models and CIFAR-10 dataset that inference costs can be reduced by 40% for VGG-16, 27% for ResNet-56, and 39% for ResNet-110.

研究动机与目标

• 推动在过度参数化的 CNN 中减少网络规模和推理成本，目标是针对在权重/激活空间高度相似的冗余特征（滤波器）。
• 提出一种一次性剪枝策略，将滤波器基于相似性分组为簇，并删除整个冗余簇及其相关特征图。
• 证明剪枝可以显著降低 FLOPs，同时保持准确率，需通过再训练来恢复性能。
• 提供关于冗余感知剪枝与现有的滤波器剪枝方法相比的实际指导和实证证据。

提出的方法

• 将每一层的滤波器表示为特征向量（W^(l) 的列）。
• 计算成对的余弦相似度以定义滤波器之间的距离。
• 应用分层凝聚聚类将最相似的滤波器组合并，直到簇之间的平均相似度低于阈值 tau。
• 剪除每个簇中除了一个代表的所有滤波器（或剪除足够的滤波器以达到期望的剪枝数量），并剪除相应的特征图以及下一层的权重。
• 更新第 l 层和第 (l+1) 层的卷积核矩阵以反映减少后的滤波器集合。
• 对剪枝后的网络进行短时间的再训练以在不改变原有超参数的情况下恢复精度。

实验结果

研究问题

• RQ1 在流行的 CNN 架构中，冗余的滤波器是否能够在不超过再训练恢复的性能下降的前提下被识别并移除？
• RQ2 在 CIFAR-10 上对 VGG-16 及 ResNet 变体进行冗余特征剪枝可以节省多少推理成本（FLOPs）？
• RQ3 基于特征冗余的剪枝是否优于在这些模型上使用的如 Li et al. (2017) 等基于幅度的剪枝方法？
• RQ4 剪枝顺序和阈值 tau 对剪枝效果和最终准确率有何影响？
• RQ5 从剪枝后的模型进行再训练是否足以恢复或提高准确率，与从零开始剪枝相比如何？

主要发现

• 在 tau = 0.54 时对 VGG-16 的剪枝实现了 >78% 的参数剪枝和约 40% 的 FLOP 降低，同时保持有竞争力的准确率。
• ResNet-56 剪枝在重新训练后相比 Li et al. (2017) 提高了参数剪枝并实现约 27.9% 的 FLOP 降低，且准确率提升。
• ResNet-110 剪枝在类似的参数剪枝下实现约 39.1% 的 FLOP 降低，尽管在某些情况下再训练后的准确率可能略低于 Li et al. (2017)。
• 在不同模型中，剪枝在推向后层时受益更大，而前层对剪枝更敏感，需使用更谨慎的阈值。
• 推理时间的减少在很大程度上与 FLOP 的下降相一致，报告的计时显示在 CIFAR-10 测试运行中实现了显著加速（表 3）。
• 从预训练模型剪枝并进行再训练通常比从头剪枝得到更好的结果（表 4）。