[论文解读] Compact Deep Convolutional Neural Networks With Coarse Pruning

Sajid Anwar, Wonyong Sung|arXiv (Cornell University)|Oct 30, 2016

Advanced Neural Network Applications参考文献 21被引用 37

一句话总结

本文通过在特征图和卷积核层面进行粗粒度剪枝，提出了一种紧凑的深度卷积神经网络，实现了高稀疏性而无需复杂的稀疏表示。通过微调剪枝后的网络，在CIFAR-10上实现了卷积层超过85%的稀疏性，且精度损失低于1%，展示了其在资源受限推理场景下的可扩展性和高效性。

ABSTRACT

The learning capability of a neural network improves with increasing depth at higher computational costs. Wider layers with dense kernel connectivity patterns furhter increase this cost and may hinder real-time inference. We propose feature map and kernel level pruning for reducing the computational complexity of a deep convolutional neural network. Pruning feature maps reduces the width of a layer and hence does not need any sparse representation. Further, kernel pruning converts the dense connectivity pattern into a sparse one. Due to coarse nature, these pruning granularities can be exploited by GPUs and VLSI based implementations. We propose a simple and generic strategy to choose the least adversarial pruning masks for both granularities. The pruned networks are retrained which compensates the loss in accuracy. We obtain the best pruning ratios when we prune a network with both granularities. Experiments with the CIFAR-10 dataset show that more than 85% sparsity can be induced in the convolution layers with less than 1% increase in the missclassification rate of the baseline network.

研究动机与目标

• 解决深度且宽的CNN在资源受限设备上进行实时推理时的高计算成本问题。
• 克服细粒度剪枝的局限性，后者导致非结构化稀疏性，并需要复杂的稀疏表示才能获得计算收益。
• 提出一种简单、通用的剪枝掩码选择策略，以最小化性能下降。
• 证明结合特征图剪枝与卷积核剪枝相较于单独使用任一策略，能实现更优的压缩效果和稀疏性。
• 通过利用粗粒度稀疏性避免复杂稀疏数据结构，实现对GPU和VLSI的高效部署。

提出的方法

• 应用特征图剪枝以减少层的宽度，消除对稀疏表示的需求，直接生成更薄的网络。
• 应用卷积核剪枝将密集连接模式转换为稀疏模式，每个卷积连接使用单一标志位实现简单稀疏表示。
• 提出一种基于幅度的通用、最小对抗性剪枝掩码选择策略，适用于特征图和卷积核两个层级。
• 对剪枝后的网络进行微调，以恢复并保持剪枝导致的性能损失。
• 采用两阶段剪枝流程：先应用特征图剪枝，再在已剪枝的网络上进行卷积核剪枝，以最大化稀疏性并保持精度。
• 在CIFAR-10和SVHN数据集上，使用多种网络架构（包括$CNN_{small}$和$CNN_{large}$）进行评估，并控制精度预算。

实验结果

研究问题

• RQ1 在特征图和卷积核层面进行粗粒度剪枝是否能实现高稀疏性，而无需依赖复杂的稀疏表示？
• RQ2 与单独使用特征图或卷积核剪枝相比，两者的结合在稀疏性与精度权衡方面表现如何？
• RQ3 一种简单、通用的剪枝掩码选择策略是否能有效最小化剪枝过程中的性能下降？
• RQ4 该方法在不同网络架构和数据集上的可扩展性如何？
• RQ5 所诱导的稀疏性是否能在标准硬件平台（如GPU和VLSI）上转化为计算效率提升？

主要发现

• 所提方法在CIFAR-10上对$CNN_{small}$网络的卷积层实现了超过85%的稀疏性，且误分类率相比基线增加不足1%。
• 结合特征图与卷积核剪枝可实现最高的剪枝比率，最终剪枝网络的稀疏性超过75%。
• 在$CNN_{large}$网络中，当按顺序应用两种剪枝粒度时，Conv2–Conv7层的稀疏性超过88%。
• 卷积核剪枝可实现高于特征图剪枝的稀疏比率，部分层的卷积核稀疏性最高可达70%。
• 该方法在其他数据集上也具有良好泛化能力，在SVHN数据集上实现了超过70%的剪枝比率，且精度稳定性相当。
• 该剪枝策略与平台无关，由于生成的稀疏表示结构简单，可在无需依赖硬件的条件下实现加速。