[论文解读] Neural Network Retraining for Model Serving

Diego Klabjan, Xiaofeng Zhu|arXiv (Cornell University)|Apr 29, 2020

Domain Adaptation and Few-Shot Learning参考文献 18被引用 6

一句话总结

本文提出了一种新颖的神经网络模型服务增量微调框架，通过使用多臂赌博机（MAB）实现动态数据采样，并引入一种新型正则化项以保留重要神经元和突触，从而缓解灾难性遗忘并提升效率。该方法通过选择性地微调关键权重并重放有影响力的旧数据批次，在降低计算成本的同时实现更优性能。

ABSTRACT

We propose incremental (re)training of a neural network model to cope with a continuous flow of new data in inference during model serving. As such, this is a life-long learning process. We address two challenges of life-long retraining: catastrophic forgetting and efficient retraining. If we combine all past and new data it can easily become intractable to retrain the neural network model. On the other hand, if the model is retrained using only new data, it can easily suffer catastrophic forgetting and thus it is paramount to strike the right balance. Moreover, if we retrain all weights of the model every time new data is collected, retraining tends to require too many computing resources. To solve these two issues, we propose a novel retraining model that can select important samples and important weights utilizing multi-armed bandits. To further address forgetting, we propose a new regularization term focusing on synapse and neuron importance. We analyze multiple datasets to document the outcome of the proposed retraining methods. Various experiments demonstrate that our retraining methodologies mitigate the catastrophic forgetting problem while boosting model performance.

研究动机与目标

• 解决在模型服务过程中持续神经网络微调时的灾难性遗忘问题。
• 通过动态选择仅有影响力的旧数据和关键权重进行微调，降低微调的计算成本。
• 通过一种新型正则化项，保留神经元和突触的重要性，提升模型泛化能力和准确性。
• 开发一种高效、可扩展的微调框架，在有限内存和计算资源下长期保持模型性能。
• 将基于MAB的采样与动态权重优化整合到统一、通用的微调流水线中，适用于CNN、MLP和RNN。

提出的方法

• 使用多臂赌博机（MAB）算法，基于损失减少或权重幅度变化作为奖励，选择旧数据的迷你批次。
• 将MAB应用于选择权重聚类进行优化，其中每个聚类被视为一个臂，奖励基于损失减少或权重更新幅度。
• 引入一种新型正则化项，仅在神经元表征保持稳定时才鼓励权重更新，从而减少遗忘。
• 在各轮次的权重变化上使用K-means聚类，将重要权重分组为聚类，以实现选择性微调。
• 结合基于MAB的记忆重放与新型正则化项，平衡从新数据学习与旧知识保留之间的关系。
• 采用基于轮次的预训练，随后通过MAB驱动的微调对权重进行预热，再进行选择性优化。

实验结果

研究问题

• RQ1 如何在最小化灾难性遗忘的前提下，高效地使用新数据对神经网络进行微调？
• RQ2 与随机或固定重放策略相比，基于MAB的旧数据采样是否能提升微调效率和模型准确性？
• RQ3 动态权重聚类与选择性优化是否能在不牺牲性能的前提下降低计算成本？
• RQ4 基于神经元和突触重要性的新型正则化项如何影响模型稳定性与泛化能力？
• RQ5 基于MAB的微调框架是否在多种架构（CNN、MLP、RNN）和数据集上均具有鲁棒性与有效性？

主要发现

• 基于MAB的记忆重放方法在SEA数据集上实现了0.8511的平均准确率，10次随机种子下的标准差仅为0.0005，表现出高度鲁棒性。
• 批归一化、聚类与MAB的结合使CIFAR-10-E上的测试准确率相比基线BN提升1.49%，相比仅使用聚类+MAB提升1.12%。
• 在MNIST-A数据集上，BN+Clustering+MAB达到99.14%的准确率，优于BN单独使用（98.88%）和聚类+MAB（99.09%）。
• 与BN单独使用相比，Clustering+MAB在六个数据集上的平均泛化能力提升了4.9%，在某些数据集上最高提升达16.0%。
• 在SEA数据集上，MAB的最优权重聚类数为k=3，因其带来了最高的验证准确率。
• 基于MAB的微调会话中，各权重聚类被均衡选择，随时间推移每类被选中的频率相近，表明探索过程稳定。