[论文解读] Incremental Learning Using a Grow-and-Prune Paradigm with Efficient Neural Networks

Xiaoliang Dai, Hongxu Yin+1 more|arXiv (Cornell University)|May 27, 2019

Domain Adaptation and Few-Shot Learning参考文献 40被引用 8

一句话总结

本文提出了一种受大脑启发的增量学习框架，通过动态增长和剪枝神经网络连接，高效适应新数据。结合基于梯度的增长与基于权重大小的剪枝，该方法将训练成本最高降低67%，同时提升准确率并生成更紧凑的模型，优于从零开始训练或微调的方法。

ABSTRACT

Deep neural networks (DNNs) have become a widely deployed model for numerous machine learning applications. However, their fixed architecture, substantial training cost, and significant model redundancy make it difficult to efficiently update them to accommodate previously unseen data. To solve these problems, we propose an incremental learning framework based on a grow-and-prune neural network synthesis paradigm. When new data arrive, the neural network first grows new connections based on the gradients to increase the network capacity to accommodate new data. Then, the framework iteratively prunes away connections based on the magnitude of weights to enhance network compactness, and hence recover efficiency. Finally, the model rests at a lightweight DNN that is both ready for inference and suitable for future grow-and-prune updates. The proposed framework improves accuracy, shrinks network size, and significantly reduces the additional training cost for incoming data compared to conventional approaches, such as training from scratch and network fine-tuning. For the LeNet-300-100 and LeNet-5 neural network architectures derived for the MNIST dataset, the framework reduces training cost by up to 64% (63%) and 67% (63%) compared to training from scratch (network fine-tuning), respectively. For the ResNet-18 architecture derived for the ImageNet dataset and DeepSpeech2 for the AN4 dataset, the corresponding training cost reductions against training from scratch (network fine-tunning) are 64% (60%) and 67% (62%), respectively. Our derived models contain fewer network parameters but achieve higher accuracy relative to conventional baselines.

研究动机与目标

• 解决现实世界中增量数据场景下持续深度神经网络训练的高计算成本与模型冗余问题。
• 克服传统重训练或微调方法在固定架构与知识遗忘方面的局限性。
• 通过动态网络扩展与剪枝，实现高效、准确且紧凑的模型更新。
• 在保持或提升模型准确率的同时，提升推理效率并降低训练成本。

提出的方法

• 在新数据到达时，应用基于梯度的增长方法扩展网络连接，提升容量以容纳未见信息。
• 采用基于权重大小的剪枝方法移除低权重连接，提升模型紧凑性。
• 实施两阶段剪枝：可恢复剪枝以确保未来更新的兼容性，不可恢复剪枝以在严格资源约束下实现超紧凑模型。
• 将生长与剪枝过程整合到顺序更新流程中，交替进行新数据上的生长与现有数据的联合训练。
• 分两个阶段训练模型：首先仅在新数据上生长20个周期，然后与全部数据联合训练30个周期。
• 在所有方法中应用可恢复剪枝，以确保模型紧凑性并支持未来的增量更新。

实验结果

研究问题

• RQ1 生长与剪枝范式是否能有效降低增量学习中的训练成本，同时保持或提升模型准确率？
• RQ2 与从零开始训练和微调相比，该框架在推理效率与模型大小方面表现如何？
• RQ3 该框架在不牺牲性能的前提下，能在多大程度上减少过参数化深度神经网络中的冗余？
• RQ4 该框架是否可在多种架构（如LeNet、ResNet-18、DeepSpeech2）与数据集（MNIST、ImageNet、AN4）上实现泛化？
• RQ5 使用可恢复剪枝是否能保持模型对未来增量更新的适应能力？

主要发现

• 在MNIST数据集上的LeNet-300-100模型中，与从零开始训练相比，该框架将训练成本降低了最多64%；与微调相比降低了63%。
• 在MNIST数据集上的LeNet-5模型中，与从零开始训练相比，训练成本降低了最多67%；与微调相比降低了63%。
• 在ImageNet数据集上的ResNet-18模型中，与从零开始训练相比，训练成本降低了64%；与微调相比降低了60%。
• 在AN4数据集上的DeepSpeech2模型中，与从零开始训练相比，训练成本降低了67%；与微调相比降低了62%。
• 所生成的模型在准确率（或错误率）上优于传统基线方法，参数量更少，最终更新时压缩率提高了30%（33%）。
• 在最终更新（100%数据）时，该框架在词错误率（WER）上比从零开始训练低0.7%（比微调低0.9%），压缩率提高了30%（33%），且训练周期显著减少。