[论文解读] Move-to-Data: A new Continual Learning approach with Deep CNNs, Application for image-class recognition

Miltiadis Poursanidis, Jenny Benois‐Pineau+3 more|arXiv (Cornell University)|Jun 12, 2020

Anomaly Detection Techniques and Applications参考文献 17被引用 6

一句话总结

本文提出了一种名为 Move-to-Data 的快速持续学习方法，适用于深度卷积神经网络（CNN），通过直接根据新数据调整最后全连接层的权重，避免了基于梯度的微调训练。该方法在 CPU 上的推理速度比微调快逾 4 倍，同时性能表现与微调相当，且表现出相似的灾难性遗忘行为。

ABSTRACT

In many real-life tasks of application of supervised learning approaches, all the training data are not available at the same time. The examples are lifelong image classification or recognition of environmental objects during interaction of instrumented persons with their environment, enrichment of an online-database with more images. It is necessary to pre-train the model at a "training recording phase" and then adjust it to the new coming data. This is the task of incremental/continual learning approaches. Amongst different problems to be solved by these approaches such as introduction of new categories in the model, refining existing categories to sub-categories and extending trained classifiers over them, ... we focus on the problem of adjusting pre-trained model with new additional training data for existing categories. We propose a fast continual learning layer at the end of the neuronal network. Obtained results are illustrated on the opensource CIFAR benchmark dataset. The proposed scheme yields similar performances as retraining but with drastically lower computational cost.

研究动机与目标

• 解决在数据按顺序到达的持续学习场景中，标准微调方法计算效率低下的问题。
• 降低在实时或在线应用中，增量模型更新过程中反向传播带来的高计算成本。
• 在适应新类别数据的同时，保持对先前学习类别的模型性能。
• 开发一种轻量级、非梯度的方法，仅修改最后一层的权重，以减少训练开销。
• 实现在神经假体视觉系统或持续更新的图像数据库等实时应用中的快速适应。

提出的方法

• 提出一种非梯度更新规则，根据输入数据直接修改最后全连接层的权重向量。
• 使用可学习参数 ε 控制权重更新的幅度，以平衡模型的稳定性与可塑性。
• 采用简单的权重调整机制：W ← W + ε · (1 - y) · x，其中 x 为输入特征向量，y 为预测类别。
• 以在线方式运行，在每个新数据样本到达后立即更新模型，无需重新训练整个网络。
• 冻结所有卷积层及早期全连接层，仅更新最后一层，以保持计算效率。
• 在 Keras 中实现该方法，使用 TensorFlow 后端，并采用仅 CPU 执行，以确保与基线微调方法的公平比较。

实验结果

研究问题

• RQ1 非梯度方法能否在图像分类的持续学习中实现与微调相当的准确率？
• RQ2 与标准微调相比，该方法在计算效率和推理速度方面表现如何？
• RQ3 Move-to-Data 方法是否表现出与基于梯度的微调相似的灾难性遗忘行为？
• RQ4 在增量学习中，平衡模型稳定性和适应性的最优 ε 值是多少？
• RQ5 该方法能否在计算资源有限的实时或在线学习场景中有效应用？

主要发现

• 在处理 10 个数据块后，Move-to-Data 在 CIFAR-10 上的最终测试准确率达到 0.761，与基线微调的 0.762 几乎完全一致。
• 在 CPU 上，该方法的推理速度比微调快逾 4 倍，平均计算时间分别为 333.304 ± 47.499 ms（Move-to-Data）和 1327.179 ± 136.908 ms（微调）。
• 当 ε = 0.0001 时，Move-to-Data 在所有 10 个数据块中均保持稳定性能，且随时间仅略有提升。
• 当 ε = 0.1 时，该方法遭受严重灾难性遗忘，表明过大的更新会破坏模型稳定性。
• 该方法在全部 10 个数据块中表现一致，证明其对顺序数据到达具有强鲁棒性。
• 该方法计算高效，适用于缺乏 GPU 加速的实时应用场景。