[论文解读] Exploiting Channel Similarity for Accelerating Deep Convolutional Neural Networks

Yunxiang Zhang, Chenglong Zhao+3 more|arXiv (Cornell University)|Aug 6, 2019

Domain Adaptation and Few-Shot Learning参考文献 46被引用 5

一句话总结

本文提出一种基于相似性的通道剪枝方法，通过聚类具有相似激活模式的通道来识别并移除深度卷积神经网络中的冗余特征通道，采用概率距离度量以确保稳定性。该方法在ImageNet上实现了SOTA加速效果，FLOPs减少30%，且在ResNet-50上仅导致0.34%的Top-5精度下降。

ABSTRACT

To address the limitations of existing magnitude-based pruning algorithms in cases where model weights or activations are of large and similar magnitude, we propose a novel perspective to discover parameter redundancy among channels and accelerate deep CNNs via channel pruning. Precisely, we argue that channels revealing similar feature information have functional overlap and that most channels within each such similarity group can be removed without compromising model's representational power. After deriving an effective metric for evaluating channel similarity through probabilistic modeling, we introduce a pruning algorithm via hierarchical clustering of channels. In particular, the proposed algorithm does not rely on sparsity training techniques or complex data-driven optimization and can be directly applied to pre-trained models. Extensive experiments on benchmark datasets strongly demonstrate the superior acceleration performance of our approach over prior arts. On ImageNet, our pruned ResNet-50 with 30% FLOPs reduced outperforms the baseline model.

研究动机与目标

• 解决在权重/激活相似性较高时，基于幅度的剪枝方法因缺乏幅度差异而失效的局限性。
• 不通过幅度，而是通过特征表示相似性来识别通道间的功能冗余。
• 开发一种无需数据依赖、稳定的通道剪枝方法，可直接应用于预训练模型，无需微调或稀疏性约束。
• 通过保留表征能力并移除冗余通道，实现高效且可泛化的模型加速。
• 通过引入基于概率建模的通道相似性估计方法，克服基于激活的距离计算中的不稳定性。

提出的方法

• 基于特征通道间期望均方误差的推导，定义通道相似性，采用概率距离度量，降低对数据的依赖性。
• 在高斯假设下，通过激活差异的期望估计通道距离，实现稳定、与数据无关的相似性计算。
• 应用分层聚类将相似通道分组，剪枝过程由归一化距离矩阵上的全局阈值引导。
• 对各层的通道距离矩阵进行归一化，以平衡网络深度上的剪枝程度，防止浅层过度剪枝。
• 利用分层聚类结果，移除冗余通道簇，每组仅保留一个代表性通道。
• 直接应用于预训练模型，无需微调或稀疏性正则化，实现即插即用的快速部署。

实验结果

研究问题

• RQ1 能否通过特征表示相似性而非权重幅度来有效识别通道冗余？
• RQ2 与基于激活的距离计算相比，是否数据无关、基于概率建模的通道距离度量能带来更稳定可靠的剪枝效果？
• RQ3 与基于幅度或启发式剪枝相比，对相似通道进行分层聚类是否能实现更优的FLOPs减少与更小的精度损失？
• RQ4 距离矩阵的归一化如何影响网络各层间的剪枝平衡及整体模型性能？
• RQ5 该方法在不进行微调或架构修改的情况下，能在多大程度上加速预训练模型？

主要发现

• 所提方法在ImageNet上实现45.90%的FLOPs减少，且在ResNet-50上仅导致0.34%的Top-5精度下降，优于全部5个对比方法。
• 在CIFAR-10上，该方法实现80%的FLOPs减少，精度损失极小，且在不同输入批次间保持稳定性能。
• 概率距离估计方法的平均性能与基于激活的距离计算几乎完全一致，但方差和不稳定性显著降低。
• 距离矩阵的归一化有效防止了浅层过度剪枝，实现了均衡且高效的网络结构压缩。
• 即使在高剪枝率和小批量输入下，该方法仍保持优异性能，而基于激活的方法因不稳定性而失效。
• 分层聚类方法成功识别并移除冗余通道，对表征能力影响极小，多基准测试中精度保持一致。