[论文解读] CHIP: CHannel Independence-based Pruning for Compact Neural Networks

Yang Sui, Miao Yin+4 more|arXiv (Cornell University)|Oct 26, 2021

Advanced Neural Network Applications参考文献 62被引用 25

一句话总结

CHIP 将通道独立性引入为跨通道指标，用于裁剪滤波器，在 CIFAR-10 和 ImageNet 基准测试中在大幅减少参数和 FLOPs 的同时实现高精度。

ABSTRACT

Filter pruning has been widely used for neural network compression because of its enabled practical acceleration. To date, most of the existing filter pruning works explore the importance of filters via using intra-channel information. In this paper, starting from an inter-channel perspective, we propose to perform efficient filter pruning using Channel Independence, a metric that measures the correlations among different feature maps. The less independent feature map is interpreted as containing less useful information$/$knowledge, and hence its corresponding filter can be pruned without affecting model capacity. We systematically investigate the quantification metric, measuring scheme and sensitiveness$/$reliability of channel independence in the context of filter pruning. Our evaluation results for different models on various datasets show the superior performance of our approach. Notably, on CIFAR-10 dataset our solution can bring $0.90\%$ and $0.94\%$ accuracy increase over baseline ResNet-56 and ResNet-110 models, respectively, and meanwhile the model size and FLOPs are reduced by $42.8\%$ and $47.4\%$ (for ResNet-56) and $48.3\%$ and $52.1\%$ (for ResNet-110), respectively. On ImageNet dataset, our approach can achieve $40.8\%$ and $44.8\%$ storage and computation reductions, respectively, with $0.15\%$ accuracy increase over the baseline ResNet-50 model. The code is available at https://github.com/Eclipsess/CHIP_NeurIPS2021.

研究动机与目标

• 从跨通道角度激发对滤波器剪枝的动机，以捕捉跨通道冗余。
• 提出 Channel Independence (CI) 作为量化滤波器重要性的度量。
• 开发低成本、鲁棒的计算 CI 并选择待剪枝滤波器的方案。
• 证明基于 CI 的剪枝在减少模型大小和 FLOPs 的同时保持跨数据集的精度。

提出的方法

• 将 Channel Independence (CI) 定义为移除一个特征图时核范数的变化，即 CI(A_i^l) = ||A^l||_* - ||M_i^l ∘ A^l||_* (Eq. 3)。
• 对每个特征图计算 CI，在输入样本之间取平均值，并剪裁具有最小 CI 值的滤波器。
• 通过将各自的 CI 值相加来近似多滤波器剪枝的 CI（Eq. 4）。
• 使用一次性剪枝过程（无需对掩模学习进行大量再训练），随后对剪枝后的网络进行微调。
• 算法 1 (CHIP) 概述了逐层步骤：计算、取平均、排序 CI、剪枝和微调。

实验结果

研究问题

• RQ1 跨通道特征信息（跨通道视角）是否能比同通道内方法更好地反映滤波器的重要性？
• RQ2 通道独立性是否是跨数据分布和输入批次时可靠且稳健的滤波器重要性代理？
• RQ3 如何在不产生组合爆炸的情况下高效地计算多滤波器剪枝的 CI？
• RQ4 CHIP 是否在标准基准上实现显著压缩且仅有极小的精度损失？
• RQ5 除了所提出的一次性 CI 基方案之外，进一步的数据驱动的剪枝掩码细化是否有益？

主要发现

• 在 CIFAR-10 上，CHIP 在 ResNet-56、ResNet-110 和 VGG-16 上实现高达 0.90%–0.94% 的准确度提升，同时在模型大小和 FLOPs 上有显著降低。
• 在 ImageNet 上，CHIP 实现了 40.8% 的存储和 44.8% 的 FLOPs 降低，ResNet-50 的准确率提升 0.15%。
• 与最先进的剪枝方法相比，CHIP 在相近或更高的压缩比下提供具有竞争力甚至更优的准确率（如 CIFAR-10 结果和 ImageNet 比较）。
• 基于 CI 的一次性剪枝方案在不同批次和输入分布下保持鲁棒，微调阶段几乎无需额外的掩码学习。