[论文解读] CUP: Cluster Pruning for Compressing Deep Neural Networks

Rahul Duggal, Cao Xiao+2 more|arXiv (Cornell University)|Nov 19, 2019

Advanced Neural Network Applications参考文献 21被引用 9

一句话总结

CUP（聚类剪枝）是一种通道剪枝方法，通过基于权重连接特征对滤波器进行聚类，实现逐层非均匀剪枝，并仅使用一个超参数 $ t $。该方法在 ImageNet 上实现了 SOTA 压缩效果——FLOPs 减少 2.2 倍，top-5 准确率下降不足 1%；同时，CUP-SS 通过在初始训练阶段单次剪枝，将训练时间减少了 14 小时以上。

ABSTRACT

We propose Cluster Pruning (CUP) for compressing and accelerating deep neural networks. Our approach prunes similar filters by clustering them based on features derived from both the incoming and outgoing weight connections. With CUP, we overcome two limitations of prior work-(1) non-uniform pruning: CUP can efficiently determine the ideal number of filters to prune in each layer of a neural network. This is in contrast to prior methods that either prune all layers uniformly or otherwise use resource-intensive methods such as manual sensitivity analysis or reinforcement learning to determine the ideal number. (2) Single-shot operation: We extend CUP to CUP-SS (for CUP single shot) whereby pruning is integrated into the initial training phase itself. This leads to large savings in training time compared to traditional pruning pipelines. Through extensive evaluation on multiple datasets (MNIST, CIFAR-10, and Imagenet) and models(VGG-16, Resnets-18/34/56) we show that CUP outperforms recent state of the art. Specifically, CUP-SS achieves 2.2x flops reduction for a Resnet-50 model trained on Imagenet while staying within 0.9% top-5 accuracy. It saves over 14 hours in training time with respect to the original Resnet-50. The code to reproduce results is available.

研究动机与目标

• 解决在通道剪枝中确定逐层最优稀疏度的挑战，该问题通常因逐层超参数设置而难以处理。
• 克服均匀剪枝和昂贵敏感性分析的局限性，实现在每层自动进行非均匀滤波器剪枝。
• 将剪枝集成到初始训练阶段，避免重新训练，显著减少训练时间。
• 在多个模型和数据集上实现 SOTA 压缩效率，同时保持最小的准确率退化。

提出的方法

• 利用来自输入和输出权重连接的特征对每层的滤波器进行聚类，以分组相似的滤波器。
• 使用单个超参数 $ t $ 控制剪枝阈值，实现自动确定每层剪枝的滤波器数量。
• 应用层次聚类对滤波器进行分组，并基于相似性移除整个聚类，以保持网络性能。
• 通过在初始训练循环中集成剪枝，将 CUP 扩展为 CUP-SS（单次剪枝），在每个周期前调用 CUP 以逐步剪枝模型。
• 使用由超参数 $ k $（斜率）和 $ b $（偏移）控制的线性剪枝调度，逐步减少训练过程中的滤波器数量。
• 通过根据滤波器相似性和训练进度动态调整剪枝强度，维持模型准确率。

实验结果

研究问题

• RQ1 单个超参数能否在保持高模型准确率的前提下控制逐层非均匀剪枝？
• RQ2 基于聚类的剪枝与人工敏感性分析相比，在确定每层最优滤波器剪枝方面表现如何？
• RQ3 将剪枝集成到初始训练阶段（CUP-SS）能在多大程度上减少训练时间而不牺牲模型性能？
• RQ4 剪枝对不同模型和数据集的推理速度提升及 FLOPs 减少有何影响？
• RQ5 单次剪枝调度中的超参数 $ k $ 和 $ b $ 如何影响最终模型的准确率和压缩效率？

主要发现

• 与原始模型相比，CUP-SS 在 ImageNet 上的 ResNet-50 上将训练时间减少了 14 小时以上，实现了 2.2 倍 FLOPs 减少，top-5 准确率仅下降 0.88%。
• 在 ImageNet 上使用 ResNet-50 时，CUP 实现了 2.2 倍 FLOPs 减少，同时将 top-5 准确率保持在原始模型的 0.9% 以内。
• 在 CIFAR-10 上使用 VGG-16 时，CUP 在 $ t = 1 $ 时实现了高达 4.6 倍的推理速度提升，展现出显著的效率增益。
• 该方法与人工敏感性分析高度相关，能自动识别出后期层（如 VGG-16 中的第 8–14 层）可比早期层更激进地剪枝。
• 消融实验表明，CUP-SS 中的中间剪枝率（$ k \approx 0.01 $ 至 $ 0.05 $）可获得最佳准确率，避免了过度剪枝和剪枝不足。
• CUP 仅使用一个超参数，在 ResNet-50 上实现了 1.27% 的 top-1 准确率下降和 2.47 倍 FLOPs 减少，压缩效率优于先前的 SOTA 方法。