[论文解读] Filter Sketch for Network Pruning

Mingbao Lin, Liujuan Cao+6 more|arXiv (Cornell University)|Jan 23, 2020

Advanced Neural Network Applications参考文献 57被引用 5

一句话总结

FilterSketch 提出了一种结构化剪枝方法，通过使用 Frequent Direction 算法进行矩阵压缩，保留预训练卷积滤波器的二阶协方差，从而在无需微调或迭代优化的情况下实现高精度模型压缩。该方法在 ResNet-110 上实现了 63.3% 的 FLOPs 减少和 59.9% 的参数剪枝，且精度损失可忽略不计；在 ResNet-50 上实现了 45.5% 的 FLOPs 减少，仅损失 0.69% 的 top-1 准确率。

ABSTRACT

We propose a novel network pruning approach by information preserving of pre-trained network weights (filters). Network pruning with the information preserving is formulated as a matrix sketch problem, which is efficiently solved by the off-the-shelf Frequent Direction method. Our approach, referred to as FilterSketch, encodes the second-order information of pre-trained weights, which enables the representation capacity of pruned networks to be recovered with a simple fine-tuning procedure. FilterSketch requires neither training from scratch nor data-driven iterative optimization, leading to a several-orders-of-magnitude reduction of time cost in the optimization of pruning. Experiments on CIFAR-10 show that FilterSketch reduces 63.3% of FLOPs and prunes 59.9% of network parameters with negligible accuracy cost for ResNet-110. On ILSVRC-2012, it reduces 45.5% of FLOPs and removes 43.0% of parameters with only 0.69% accuracy drop for ResNet-50. Our code and pruned models can be found at https://github.com/lmbxmu/FilterSketch.

研究动机与目标

• 解决现有结构化剪枝方法计算成本高昂的问题，这些方法通常需要迭代优化或从头开始微调。
• 通过在剪枝过程中保留预训练权重的关键二阶信息，提升模型压缩效率。
• 消除结构化剪枝中对数据驱动的迭代过程或复杂正则化方案的需求。
• 通过信息保持的参数初始化，实现在高剪枝率下维持模型精度。

提出的方法

• 将网络剪枝建模为矩阵压缩问题，以保留预训练滤波器权重的二阶协方差。
• 采用现成的 Frequent Direction 算法高效计算压缩结果，避免迭代优化。
• 将压缩后的参数用作微调的热启动初始化，实现性能的快速恢复。
• 引入 Frobenius 范数归一化，以在压缩过程中稳定数值计算。
• 逐层应用于结构化滤波器，确保与标准 CNN 推理及 BLAS 库的兼容性。
• 避免从头开始微调，并消除依赖数据的迭代优化过程，显著降低剪枝时间。

实验结果

研究问题

• RQ1 在不使用迭代优化的情况下，保留预训练滤波器的二阶协方差是否能显著提升剪枝后模型的精度？
• RQ2 与基于迭代或正则化的剪枝方法相比，通过 Frequent Direction 实现的矩阵压缩在速度和精度方面表现如何？
• RQ3 FilterSketch 在高剪枝率下（尤其是超过 60% 参数减少）的性能保持能力如何，特别是在极端压缩条件下？
• RQ4 Frobenius 范数归一化是否能提升压缩过程中的数值稳定性与最终精度？
• RQ5 与 SOTA 方法（如 ThiNet 和 CP）相比，FilterSketch 的优化时间有何差异？

主要发现

• 在 CIFAR-10 上，FilterSketch 在 ResNet-110 上实现了 63.3% 的 FLOPs 减少和 59.9% 的参数剪枝，精度仅下降 0.33%。
• 在 ILSVRC-2012 上，FilterSketch-0.6 在 ResNet-50 上实现了 74.68% 的 top-1 准确率和 92.17% 的 top-5 准确率，优于同类压缩水平下的 SOTA 方法。
• 在 GPU 上，FilterSketch 为 ResNet-110 实现了 1.57 倍的实际加速，优化时间仅为 1.06 秒，而 ThiNet 超过 63,000 秒。
• 该方法在高剪枝率（>60%）下保持稳定性能，而 L1 和 GAL 方法则出现精度急剧下降。
• 引入 Frobenius 范数归一化后，各类模型的精度提升了 0.2–0.4%，证实其在数值稳定性中的关键作用。
• 即使在深度网络（如 ResNet-110）上，FilterSketch 的优化成本也低于 2 秒，相比迭代方法减少了数个数量级。