[论文解读] Effective Model Sparsification by Scheduled Grow-and-Prune Methods

Xiaolong Ma, Minghai Qin+8 more|arXiv (Cornell University)|Jun 18, 2021

Advanced Neural Network Applications参考文献 41被引用 5

一句话总结

本文提出了一种计划性生长与剪枝（GaP）方法，用于模型稀疏化，通过迭代地对连续的层分区进行生长和剪枝，避免了预训练密集模型。该方法在高稀疏度下实现了最先进（SOTA）的准确率——例如，在90%非均匀稀疏的ResNet-50上，ImageNet的top-1准确率达到77.9%，超越了先前的方法，同时通过系统性探索减少了内存占用并提升了权重覆盖度。

ABSTRACT

Deep neural networks (DNNs) are effective in solving many real-world problems. Larger DNN models usually exhibit better quality (e.g., accuracy) but their excessive computation results in long inference time. Model sparsification can reduce the computation and memory cost while maintaining model quality. Most existing sparsification algorithms unidirectionally remove weights, while others randomly or greedily explore a small subset of weights in each layer for pruning. The limitations of these algorithms reduce the level of achievable sparsity. In addition, many algorithms still require pre-trained dense models and thus suffer from large memory footprint. In this paper, we propose a novel scheduled grow-and-prune (GaP) methodology without having to pre-train a dense model. It addresses the shortcomings of the previous works by repeatedly growing a subset of layers to dense and then pruning them back to sparse after some training. Experiments show that the models pruned using the proposed methods match or beat the quality of the highly optimized dense models at 80% sparsity on a variety of tasks, such as image classification, objective detection, 3D object part segmentation, and translation. They also outperform other state-of-the-art (SOTA) methods for model sparsification. As an example, a 90% non-uniform sparse ResNet-50 model obtained via GaP achieves 77.9% top-1 accuracy on ImageNet, improving the previous SOTA results by 1.5%. Code available at: https://github.com/boone891214/GaP.

研究动机与目标

• 解决现有模型稀疏化方法的局限性，这些方法单向剪枝权重或依赖预训练的密集模型。
• 通过消除稀疏化过程中对预训练密集模型的需求，减少内存占用。
• 通过结构化的层分区和计划性生长/剪枝，系统性地探索所有权重，从而改善稀疏度-准确率权衡。
• 通过在训练过程中动态重新评估权重，实现在高稀疏度下获得更优的模型质量。

提出的方法

• GaP方法将深度神经网络（DNN）划分为连续的层，并计划性地迭代生长和剪枝这些分区。
• 在循环式GaP中，一个分区被生长为密集状态，而其他分区保持稀疏；训练完成后，该分区被剪枝，下一个分区被生长，依次循环遍历所有分区。
• 在并行式GaP中，多个模型在不同机器上同时训练，每次仅对一个不同的分区进行生长。
• 该方法通过在每个分区的密集阶段探索其所有权重，确保了完整的权重覆盖，避免了随机或贪婪探索可能导致的覆盖不全问题。
• 在整个训练过程中保持稀疏性，且仅在分区中所有权重都被探索后才更新稀疏掩码。
• 该方法具有理论基础，收敛性分析表明在标准假设下，其收敛速率为次线性。

实验结果

研究问题

• RQ1 是否可以在不预训练密集模型的前提下实现模型稀疏化，从而减少内存开销？
• RQ2 系统性、基于分区的生长与剪枝是否能带来比随机或贪婪探索更好的权重覆盖度和模型质量？
• RQ3 所提出的计划性GaP方法是否能在多种视觉和自然语言处理任务中，在高稀疏度下实现最先进（SOTA）的准确率？
• RQ4 计划性GaP方法的收敛行为与现有稀疏训练方法相比如何？

主要发现

• 使用GaP训练的90%非均匀稀疏ResNet-50模型在ImageNet上达到77.9%的top-1准确率，比之前的SOTA高出1.5%。
• 在80%稀疏度下，GaP模型在图像分类、目标检测、3D语义分割和机器翻译等任务中的准确率与高度优化的密集模型相当或更优。
• 该方法在高稀疏度下优于最先进（SOTA）的稀疏化技术，如RigL、DSR和SET。
• 理论分析证实，循环式GaP方法的收敛速率为O(1/√Q)，其中Q为训练周期数，且为次线性收敛。
• 该方法通过消除对预训练密集模型的需求，显著降低了内存占用，使其适用于资源受限的训练环境。