[论文解读] Enabling Retrain-free Deep Neural Network Pruning using Surrogate Lagrangian Relaxation

Deniz Gurevin, Shanglin Zhou+5 more|arXiv (Cornell University)|Dec 18, 2020

Advanced Neural Network Applications参考文献 34被引用 7

一句话总结

本文提出了一种无需微调的深度神经网络剪枝方法，即代理拉格朗日松弛（Surrogate Lagrangian Relaxation, SLR），通过引入二次惩罚项和快速收敛的拉格朗日乘子，加速了硬剪枝过程中的收敛速度并提升了模型精度。该方法在高剪枝率下实现了更高的压缩率与更低的精度损失，优于当前最先进方法，且显著减少了微调需求。

ABSTRACT

Network pruning is a widely used technique to reduce computation cost and model size for deep neural networks. However, the typical three-stage pipeline, i.e., training, pruning and retraining (fine-tuning) significantly increases the overall training trails. In this paper, we develop a systematic weight-pruning optimization approach based on Surrogate Lagrangian relaxation (SLR), which is tailored to overcome difficulties caused by the discrete nature of the weight-pruning problem while ensuring fast convergence. We further accelerate the convergence of the SLR by using quadratic penalties. Model parameters obtained by SLR during the training phase are much closer to their optimal values as compared to those obtained by other state-of-the-art methods. We evaluate the proposed method on image classification tasks, i.e., ResNet-18 and ResNet-50 using ImageNet, and ResNet-18, ResNet-50 and VGG-16 using CIFAR-10, as well as object detection tasks, i.e., YOLOv3 and YOLOv3-tiny using COCO 2014 and Ultra-Fast-Lane-Detection using TuSimple lane detection dataset. Experimental results demonstrate that our SLR-based weight-pruning optimization approach achieves higher compression rate than state-of-the-arts under the same accuracy requirement. It also achieves a high model accuracy even at the hard-pruning stage without retraining (reduces the traditional three-stage pruning to two-stage). Given a limited budget of retraining epochs, our approach quickly recovers the model accuracy.

研究动机与目标

• 为解决传统三阶段剪枝流程（训练-剪枝-微调）中微调阶段计算成本过高的问题，特别是其耗时较长的缺陷。
• 开发一种优化方法，使模型在硬剪枝阶段仍能保持高精度，从而最小化或完全消除微调需求。
• 通过克服非凸 DNN 优化中基数约束的离散性，加速权重剪枝过程中的收敛速度。
• 通过减少微调周期，在保持性能的同时，实现对资源受限设备更快速、更高效的模型压缩。

提出的方法

• 该方法将 DNN 权重剪枝问题建模为带有基数约束的非凸优化问题，以实现稀疏性。
• 采用代理拉格朗日松弛（SLR）将问题分解为子问题，通过拉格朗日乘子更新实现高效协调。
• 在 SLR 中引入二次惩罚项，通过更快速地减少约束违反来加速收敛。
• 该方法确保拉格朗日乘子能快速收敛至最优值，从而使模型参数比其他方法更接近最优。
• 该算法在训练阶段应用，可直接生成剪枝后的模型，无需剪枝后进行微调。
• 该方法在多个架构（ResNet、VGG、YOLO）和数据集（ImageNet、CIFAR-10、COCO、TuSimple）上进行了评估，展示了其在各类任务中的鲁棒性。

实验结果

研究问题

• RQ1 能否通过一种优化方法在不进行微调的情况下，实现在硬剪枝阶段的高模型精度？
• RQ2 该方法能否减少为恢复模型精度所需的微调周期数，尤其是在预算有限的情况下？
• RQ3 在高剪枝率下，SLR 与 ADMM 相比，在硬剪枝精度和收敛速度方面表现如何？
• RQ4 在 SLR 中使用二次惩罚项是否相比标准 SLR 或 ADMM，能提升收敛速度和最终模型性能？

主要发现

• 在 77.67× 压缩率下，SLR 在 TuSimple 车道检测数据集上硬剪枝后达到 89.72% 的精度，而 ADMM 降至 46.09%。
• 在 ImageNet 上的 ResNet-18 模型中，SLR 在 35.25× 压缩率下保持 94.55% 的 top-1 精度，优于相同压缩率下的 ADMM。
• 在所有测试的压缩率下，SLR 的硬剪枝精度均高于 ADMM，且在更高压缩水平下优势显著增强。
• SLR 中的代理最优性条件在训练过程中周期性满足，表明其具有稳定收敛性并实现了有效的乘子更新。
• 在有限微调预算下，SLR 恢复模型精度的速度快于当前最先进方法，显著降低了对大规模微调的依赖。
• 消融实验表明，在 CIFAR-10 上的 ResNet-18 中，初始对偶变量 $ s_0 = 10^{-2} $ 能带来更快的收敛速度和更高的初始精度。