[论文解读] Layer Pruning via Fusible Residual Convolutional Block for Deep Neural Networks

Pengtao Xu, Jian Cao+3 more|arXiv (Cornell University)|Nov 29, 2020

Advanced Neural Network Applications参考文献 31被引用 14

一句话总结

本文提出一种新颖的层剪枝方法，利用可融合的残差卷积块（ResConv），实现在训练过程中自动、结构化地移除整个网络层。通过引入带有L1正则化的可学习缩放因子，该方法能够识别并剪枝不重要的层，在仅造成极小精度损失的情况下实现高倍压缩与加速——例如，在ResNet-110上实现65.5%的FLOPs减少和55.5%的参数减少，且在CIFAR-10上仅造成0.13%的top-1精度损失。

ABSTRACT

In order to deploy deep convolutional neural networks (CNNs) on resource-limited devices, many model pruning methods for filters and weights have been developed, while only a few to layer pruning. However, compared with filter pruning and weight pruning, the compact model obtained by layer pruning has less inference time and run-time memory usage when the same FLOPs and number of parameters are pruned because of less data moving in memory. In this paper, we propose a simple layer pruning method using fusible residual convolutional block (ResConv), which is implemented by inserting shortcut connection with a trainable information control parameter into a single convolutional layer. Using ResConv structures in training can improve network accuracy and train deep plain networks, and adds no additional computation during inference process because ResConv is fused to be an ordinary convolutional layer after training. For layer pruning, we convert convolutional layers of network into ResConv with a layer scaling factor. In the training process, the L1 regularization is adopted to make the scaling factors sparse, so that unimportant layers are automatically identified and then removed, resulting in a model of layer reduction. Our pruning method achieves excellent performance of compression and acceleration over the state-of-the-arts on different datasets, and needs no retraining in the case of low pruning rate. For example, with ResNet-110, we achieve a 65.5%-FLOPs reduction by removing 55.5% of the parameters, with only a small loss of 0.13% in top-1 accuracy on CIFAR-10.

研究动机与目标

• 解决尽管层剪枝在推理效率和内存使用方面具有优势，但缺乏有效方法的问题。
• 开发一种可在训练过程中实现结构化、自动移除整个卷积层的方法。
• 在资源受限设备上实现高倍模型压缩与加速的同时，最小化精度下降。
• 通过在训练后将ResConv结构融合为标准卷积，实现推理时的高效性，且不增加计算开销。
• 在低剪枝率下实现最先进的模型压缩性能，且剪枝后无需微调。

提出的方法

• 引入一种可融合的残差卷积块（ResConv），在单个卷积层中插入可学习的缩放因子和短路连接。
• 使用层缩放因子控制每个卷积层的贡献，通过稀疏性实现结构化剪枝。
• 在训练过程中对缩放因子施加L1正则化，以促进稀疏性并识别不重要的层。
• 使用ResConv块训练网络，以保持精度并支持深度普通网络的训练。
• 训练完成后，通过将缩放因子吸收进标准卷积层，将ResConv结构融合为标准卷积，从而消除推理阶段的开销。
• 通过移除缩放因子为零或接近零的层，实现整个层的剪枝，从而得到一个紧凑高效的模型。

实验结果

研究问题

• RQ1 在残差块结构中引入可学习的缩放因子，是否能实现在不损害精度的前提下自动且结构化的层剪枝？
• RQ2 该方法在图像分类基准上，是否能有效减少FLOPs和参数量，同时保持高精度？
• RQ3 该方法是否能在低剪枝率下实现高倍压缩与加速，且仅造成极小的精度下降？
• RQ4 融合后的ResConv结构是否能无缝集成到推理流程中，且不增加计算成本？
• RQ5 与现有滤波器和权重重剪枝技术相比，该方法在推理效率和模型紧凑性方面表现如何？

主要发现

• 该方法在ResNet-110上实现了65.5%的FLOPs减少和55.5%的参数减少，且在CIFAR-10上仅造成0.13%的top-1精度损失。
• 该方法实现了高倍压缩与加速，且剪枝后无需微调，即使在低剪枝率下也表现优异。
• 融合后的ResConv结构在推理阶段不增加任何计算开销，因其已在训练后被合并为标准卷积层。
• 对缩放因子施加L1正则化成功诱导了稀疏性，从而实现了对不重要层的自动识别与移除。
• 由于减少了数据移动，该方法在推理效率和内存使用方面优于现有最先进的剪枝技术。
• 该方法在保持高精度的同时实现了结构化剪枝（通道级与层级），因此特别适用于资源受限设备的部署。