[论文解读] Exploiting Kernel Sparsity and Entropy for Interpretable CNN Compression

Yuchao Li, Shaohui Lin+6 more|arXiv (Cornell University)|Dec 11, 2018

Advanced Neural Network Applications参考文献 46被引用 8

一句话总结

本文提出了一种新颖的可解释性方法——核稀疏性与熵（KSE），用于卷积神经网络（CNN）压缩。该方法通过对应2D卷积核的稀疏性和熵来量化输入特征图的重要性。通过基于KSE对核进行聚类，实现了高效、逐层且高精度的压缩——在ResNet-50上实现了4.7倍FLOPs减少和2.9倍模型压缩，且在ImageNet 2012上的Top-5准确率仅下降0.35%。

ABSTRACT

Compressing convolutional neural networks (CNNs) has received ever-increasing research focus. However, most existing CNN compression methods do not interpret their inherent structures to distinguish the implicit redundancy. In this paper, we investigate the problem of CNN compression from a novel interpretable perspective. The relationship between the input feature maps and 2D kernels is revealed in a theoretical framework, based on which a kernel sparsity and entropy (KSE) indicator is proposed to quantitate the feature map importance in a feature-agnostic manner to guide model compression. Kernel clustering is further conducted based on the KSE indicator to accomplish high-precision CNN compression. KSE is capable of simultaneously compressing each layer in an efficient way, which is significantly faster compared to previous data-driven feature map pruning methods. We comprehensively evaluate the compression and speedup of the proposed method on CIFAR-10, SVHN and ImageNet 2012. Our method demonstrates superior performance gains over previous ones. In particular, it achieves 4.7 imes FLOPs reduction and 2.9 imes compression on ResNet-50 with only a Top-5 accuracy drop of 0.35% on ImageNet 2012, which significantly outperforms state-of-the-art methods.

研究动机与目标

• 为解决现有CNN压缩方法缺乏可解释性、无法区分网络结构中隐含冗余的问题。
• 开发一种理论基础扎实、与特征无关的指标，用于量化卷积层中输入特征图的重要性。
• 通过基于所提出的KSE指标引导的核聚类，实现高效、高精度的CNN压缩，避免残差网络中的结构不匹配问题。
• 在不依赖全训练集数据驱动的特征图计算的前提下，实现卓越的压缩率与加速效果。
• 在CIFAR-10、SVHN和ImageNet 2012上实现最先进性能，且准确率下降极小。

提出的方法

• 提出一个理论框架，将输入特征图与其对应的2D卷积核联系起来，揭示稀疏性与信息丰富度是衡量特征图重要性的关键指标。
• 引入核稀疏性与熵（KSE）指标，作为结合核稀疏性（表示感受野密度）与核熵（表示空间信息分布）的复合度量。
• 基于KSE指标对核进行聚类，以减少每个输入特征图的2D核数量，从而实现逐层、结构化的压缩。
• 将标准卷积拆分为两个阶段：每个输入特征图的2D卷积，随后进行通道维度的加法，从而实现对每个特征图独立的核剪枝。
• 引入压缩粒度参数G以控制核聚类的粒度，支持从细粒度到粗粒度的剪枝策略。
• 在核聚类后对压缩后的网络进行少量周期的微调，以恢复准确率。

实验结果

研究问题

• RQ1 能否联合使用2D核的稀疏性与信息丰富度，构建一种与特征无关、可解释的输入特征图重要性指标？
• RQ2 与单独使用核稀疏性或熵相比，所提出的KSE指标在引导有效CNN压缩方面表现如何？
• RQ3 基于KSE的核聚类能否在保持模型准确率的前提下实现高效率压缩与加速，尤其是在残差网络中？
• RQ4 在核聚类中，平衡准确率与效率的最优压缩粒度G是什么？
• RQ5 与数据驱动的、基于激活的剪枝方法相比，KSE方法在速度、准确率和FLOPs减少方面是否表现更优？

主要发现

• 所提出的KSE指标在性能上优于单独使用核稀疏性或熵，当G=4时，在ResNet-56上较核稀疏性指标实现0.52%的Top-1准确率提升。
• 在ImageNet 2012上，该方法在ResNet-50上实现了4.7倍FLOPs减少和2.9倍模型压缩，且Top-5准确率仅下降0.35%。
• 在CIFAR-10上的DenseNet-40上，该方法实现了73.03%的Top-1准确率，参数量仅为337万，展现出极强的紧凑性。
• 该方法的压缩速度优于数据驱动的特征图剪枝方法，因为它避免了全批量特征图的计算。
• 可视化结果表明，较低的KSE值对应于信息量较少的特征图，验证了该方法准确识别冗余特征图的能力。
• 该方法与现代网络结构（如ResNets和DenseNets）兼容，避免了因滤波器或特征图移除导致的维度不匹配问题。