[论文解读] Deep Model Compression based on the Training History

S. H. Shabbeer Basha, Mohammad Farazuddin+3 more|arXiv (Cornell University)|Jan 30, 2021

Advanced Image and Video Retrieval Techniques被引用 4

一句话总结

本文提出了一种基于历史的滤波器剪枝方法（HBFP），这是一种新颖的滤波器剪枝方法，通过分析训练过程中各滤波器ℓ₁-范数在不同训练周期内的相似性，利用训练历史识别并移除冗余滤波器。通过在剪枝前优化滤波器对以最小化信息损失，并在剪枝后进行微调，HBFP在LeNet-5上实现了高达97.98%的FLOPs减少，同时保持了较低的误差率，优于当前最先进的方法。

ABSTRACT

Deep Convolutional Neural Networks (DCNNs) have shown promising performances in several visual recognition problems which motivated the researchers to propose popular architectures such as LeNet, AlexNet, VGGNet, ResNet, and many more. These architectures come at a cost of high computational complexity and parameter storage. To get rid of storage and computational complexity, deep model compression methods have been evolved. We propose a "History Based Filter Pruning (HBFP)" method that utilizes network training history for filter pruning. Specifically, we prune the redundant filters by observing similar patterns in the filter's L1-norms (absolute sum of weights) over the training epochs. We iteratively prune the redundant filters of a CNN in three steps. First, we train the model and select the filter pairs with redundant filters in each pair. Next, we optimize the network to ensure an increased measure of similarity between the filters in a pair. This optimization of the network facilitates us to prune one filter from each pair based on its importance without much information loss. Finally, we retrain the network to regain the performance, which is dropped due to filter pruning. We test our approach on popular architectures such as LeNet-5 on MNIST dataset; VGG-16, ResNet-56, and ResNet-110 on CIFAR-10 dataset, and ResNet-50 on ImageNet. The proposed pruning method outperforms the state-of-the-art in terms of FLOPs reduction (floating-point operations) by 97.98%, 83.42%, 78.43%, 74.95%, and 75.45% for LeNet-5, VGG-16, ResNet-56, ResNet-110, and ResNet-50, respectively, while maintaining the less error rate.

研究动机与目标

• 解决深度卷积神经网络在资源受限设备上的高计算与存储成本问题。
• 通过利用训练动态而非静态度量，提升滤波器剪枝效率。
• 通过在剪枝前优化滤波器相似性，最小化剪枝过程中的信息损失。
• 在保持模型精度的同时，实现高于现有方法的压缩率。
• 在多种架构和数据集（包括ImageNet）上验证该方法的有效性。

提出的方法

• 通过测量滤波器对在训练各周期中ℓ₁-范数绝对差值之和，识别冗余滤波器对。
• 引入一种自定义正则化项，以最小化滤波器对之间ℓ₁-范数的差异，增强其冗余性，从而在剪枝时减少信息损失。
• 根据滤波器ℓ₁-范数的大小，从每对冗余滤波器中剪除重要性较低的滤波器。
• 在每次剪枝迭代后对网络进行微调，以恢复因滤波器移除而下降的性能。
• 通过迭代重复该过程，实现渐进式压缩。
• 该方法可适配其他度量方式，如ℓ₂-范数或余弦相似度。

实验结果

研究问题

• RQ1 能否有效利用训练历史在不造成显著性能下降的前提下识别冗余滤波器用于剪枝？
• RQ2 在剪枝前优化滤波器相似性是否相比直接剪枝能更有效地减少信息损失？
• RQ3 所提方法能否实现高于当前最先进滤波器剪枝技术的FLOPs减少率？
• RQ4 该方法在不同架构和数据集（包括大规模ImageNet）上的表现如何？
• RQ5 使用自定义正则化项是否能显著提升剪枝后的精度？

主要发现

• 在LeNet-5上，HBFP实现了97.98%的FLOPs减少，且精度损失极小，优于先前方法。
• 在VGG-16上，该方法将FLOPs减少了83.42%，同时保持了高精度，超越了当前最先进结果。
• 在CIFAR-10数据集上的ResNet-56和ResNet-110上，HBFP分别实现了78.43%和74.95%的FLOPs减少，且精度表现具有竞争力。
• 在ImageNet上使用ResNet-50时，HBFP将FLOPs减少了75.45%，参数量减少了68.30%，达到69.17%的top-1精度。
• 消融实验确认，自定义正则化项通过最小化剪枝过程中的信息损失，显著提升了模型性能。
• HBFP在低分辨率和高分辨率数据集（包括MNIST、CIFAR-10和ImageNet）上均表现出良好的鲁棒性。