[论文解读] Joint Pruning & Quantization for Extremely Sparse Neural Networks.

Po‐Hsiang Yu, Sih-Sian Wu+3 more|arXiv (Cornell University)|Oct 5, 2020

Advanced Neural Network Applications参考文献 25被引用 10

一句话总结

本文提出一种两阶段流水线，通过联合应用结构化剪枝与量化，实现立体深度估计网络的极端稀疏化，采用Taylor分数进行剪枝，并提出一种新颖的微调策略。该方法在保持接近最先进性能的同时，将模型内存减少99%，硬件成本降低高达99.9%；仅使用剪枝的方法在CIFAR-10和ImageNet上的ResNet模型上也优于现有最先进方法。

ABSTRACT

We investigate pruning and quantization for deep neural networks. Our goal is to achieve extremely high sparsity for quantized networks to enable implementation on low cost and low power accelerator hardware. In a practical scenario, there are particularly many applications for dense prediction tasks, hence we choose stereo depth estimation as target. We propose a two stage pruning and quantization pipeline and introduce a Taylor Score alongside a new fine-tuning mode to achieve extreme sparsity without sacrificing performance. Our evaluation does not only show that pruning and quantization should be investigated jointly, but also shows that almost 99% of memory demand can be cut while hardware costs can be reduced up to 99.9%. In addition, to compare with other works, we demonstrate that our pruning stage alone beats the state-of-the-art when applied to ResNet on CIFAR10 and ImageNet.

研究动机与目标

• 通过大幅减小模型大小和计算成本，实现深度神经网络在低成本、低功耗边缘设备上的高效部署。
• 研究剪枝与量化之间的协同效应，特别是剪枝顺序对量化噪声和模型精度的影响。
• 在密集预测任务（如立体深度估计）中实现极端稀疏化（最高达99%内存减少）而不牺牲性能。
• 开发一种实用、易于使用的流水线，仅需一个超参数（阈值）控制剪枝过程，适用于实时移动应用。

提出的方法

• 提出一种两阶段流水线：首先，基于损失函数的一阶泰勒展开的Taylor分数，对模型进行结构化剪枝，以识别并移除不重要的卷积核。
• 在剪枝后引入一种新颖的微调模式，以稳定网络并提升精度，尤其在高稀疏度环境下表现更优。
• 剪枝完成后，对剩余权重应用增量量化，将其转换为2的幂次值，以支持高效的定点计算。
• Taylor分数通过计算损失相对于每个卷积核幅值的梯度获得，从而实现对滤波器重要性的层级估计。
• 该方法应用于立体匹配网络（如PSM-Net），在量化前先执行剪枝，以最小化量化噪声。
• 在立体深度估计和标准分类基准（CIFAR-10、ImageNet）上对流水线进行评估，以验证其泛化能力。

实验结果

研究问题

• RQ1 与先量化或交替执行剪枝与量化相比，是否先剪枝能有效降低量化噪声并提升最终模型精度？
• RQ2 能否仅通过一个简单、统一的超参数（剪枝阈值）控制整个剪枝过程，同时实现高稀疏度与高性能？
• RQ3 在立体深度估计网络中，精度显著下降前可达到的最大稀疏度是多少？
• RQ4 与L1范数、几何中位数等其他剪枝准则相比，所提出的Taylor分数在精度与稀疏度权衡方面表现如何？
• RQ5 仅使用剪枝的流水线是否能在CIFAR-10和ImageNet等标准基准上超越现有最先进方法？

主要发现

• 仅使用所提剪枝方法，ResNet在CIFAR-10和ImageNet上的性能即达到最先进水平，在相近稀疏度下优于先前最先进方法。
• 先剪枝后量化能有效降低量化噪声，并获得比先量化或交替处理更高的模型精度。
• 该方法在立体深度估计网络中实现了高达99%的模型内存减少和高达99.9%的硬件成本降低。
• 即使在69.95%的稀疏度下，剪枝并量化的模型在ImageNet上的top-1精度仍保持在68.48%，仅比基线模型下降1.28%。
• 在立体深度估计任务中，该流水线的精度损失低于2%，预测深度图在视觉上几乎无差异。
• 该方法表明，剪枝在微调过程中起到了正则化作用，提升了高稀疏度区域下的泛化能力。