[论文解读] CGaP: Continuous Growth and Pruning for Efficient Deep Learning

Xiaocong Du, Li Zheng+1 more|arXiv (Cornell University)|May 27, 2019

Advanced Neural Network Applications参考文献 28被引用 11

一句话总结

CGaP 提出了一种连续生长与剪枝框架，从一个小型网络种子开始训练，基于显著性分数动态扩展重要滤波器和神经元，随后对模型进行剪枝，从而在显著减少参数量和浮点运算量（FLOPs）的同时实现高精度。在 CIFAR-100 和 SVHN 上，CGaP 将 VGG-19 的参数量减少高达 85.8%，FLOPs 减少 74.2%，优于仅使用剪枝的标准方法。

ABSTRACT

Today a canonical approach to reduce the computation cost of Deep Neural Networks (DNNs) is to pre-define an over-parameterized model before training to guarantee the learning capacity, and then prune unimportant learning units (filters and neurons) during training to improve model compactness. We argue it is unnecessary to introduce redundancy at the beginning of the training but then reduce redundancy for the ultimate inference model. In this paper, we propose a Continuous Growth and Pruning (CGaP) scheme to minimize the redundancy from the beginning. CGaP starts the training from a small network seed, then expands the model continuously by reinforcing important learning units, and finally prunes the network to obtain a compact and accurate model. As the growth phase favors important learning units, CGaP provides a clear learning purpose to the pruning phase. Experimental results on representative datasets and DNN architectures demonstrate that CGaP outperforms previous pruning-only approaches that deal with pre-defined structures. For VGG-19 on CIFAR-100 and SVHN datasets, CGaP reduces the number of parameters by 78.9% and 85.8%, FLOPs by 53.2% and 74.2%, respectively; For ResNet-110 On CIFAR-10, CGaP reduces 64.0% number of parameters and 63.3% FLOPs.

研究动机与目标

• 为解决预定义的过参数化模型效率低下、需通过训练后剪枝来减少冗余的问题。
• 通过从极小的网络种子而非大型架构开始训练，消除初始冗余。
• 通过在生长阶段强化重要单元，提升学习效率与剪枝精度。
• 开发一种动态、结构化的剪枝方法，生成高准确率且硬件高效的稀疏模型。

提出的方法

• CGaP 从大小仅为标准模型 0.1% 至 3% 的小型网络种子开始训练。
• 基于衡量每个单元对训练损失贡献程度的显著性分数，持续通过增加新滤波器和神经元来扩展网络。
• 生长阶段强化重要学习单元，为后续剪枝阶段提供更清晰的学习目标。
• 在达到最大容量后，应用结构化滤波器与神经元剪枝，移除不重要的单元。
• 显著性分数同时用于生长与剪枝决策，确保在识别关键组件时保持一致性。
• 通过启发式方法调整超参数（如生长速率、阈值和生长频率），以在模型大小、准确率与收敛性之间取得平衡。

实验结果

研究问题

• RQ1 动态网络生长与剪枝策略是否能在模型效率与准确率方面优于仅使用剪枝的标准流程？
• RQ2 从极小种子开始训练是否能相比过参数化初始化更有效减少冗余与过拟合？
• RQ3 在生长阶段强化重要单元如何提升最终模型的准确率与剪枝效果？
• RQ4 最终模型对初始种子大小与超参数变化的鲁棒性如何？
• RQ5 生长阶段是否可作为有意义的学习信号，从而增强剪枝阶段的表现？

主要发现

• 在 CIFAR-100 上，CGaP 将 VGG-19 的参数量减少 78.9%，FLOPs 减少 53.2%，且相比基线模型准确率提升 0.37%。
• 在 SVHN 上，CGaP 将 VGG-19 的参数量减少 85.8%，FLOPs 减少 74.2%，准确率提升 0.23%。
• 在 CIFAR-10 上的 ResNet-110 上，CGaP 将参数量减少 64.0%，FLOPs 减少 63.3%，准确率提升 0.09%。
• 基于显著性的生长使剪枝过程中的损失峰值降低 1.4 倍，表明具有更好的稳定性。
• 最终模型结构显著更稀疏且具结构性，相比非结构性稀疏性，硬件效率更高。
• 该方法对种子大小与超参数变化具有鲁棒性，在所有测试配置中准确率波动小于 2%。