[论文解读] Incremental Learning In Online Scenario

Jiangpeng He, Runyu Mao+2 more|arXiv (Cornell University)|Mar 30, 2020

Data Stream Mining Techniques参考文献 32被引用 10

一句话总结

该论文提出了一种在线增量学习框架，通过引入改进的交叉蒸馏损失函数与两步学习技术，并结合动态样本集更新机制，同时解决了灾难性遗忘与概念漂移问题。在在线学习条件下，该方法在CIFAR-100和ImageNet-1000数据集上实现了最先进性能，优于离线方法，能够在实时场景中同时处理新类别与旧类别的新观测样本。

ABSTRACT

Modern deep learning approaches have achieved great success in many vision applications by training a model using all available task-specific data. However, there are two major obstacles making it challenging to implement for real life applications: (1) Learning new classes makes the trained model quickly forget old classes knowledge, which is referred to as catastrophic forgetting. (2) As new observations of old classes come sequentially over time, the distribution may change in unforeseen way, making the performance degrade dramatically on future data, which is referred to as concept drift. Current state-of-the-art incremental learning methods require a long time to train the model whenever new classes are added and none of them takes into consideration the new observations of old classes. In this paper, we propose an incremental learning framework that can work in the challenging online learning scenario and handle both new classes data and new observations of old classes. We address problem (1) in online mode by introducing a modified cross-distillation loss together with a two-step learning technique. Our method outperforms the results obtained from current state-of-the-art offline incremental learning methods on the CIFAR-100 and ImageNet-1000 (ILSVRC 2012) datasets under the same experiment protocol but in online scenario. We also provide a simple yet effective method to mitigate problem (2) by updating exemplar set using the feature of each new observation of old classes and demonstrate a real life application of online food image classification based on our complete framework using the Food-101 dataset.

研究动机与目标

• 解决在线增量学习中灾难性遗忘问题，即模型在学习新类别时仍需保留对旧类别的知识。
• 通过利用旧类别新观测样本的特征，动态更新样本集，以缓解概念漂移问题。
• 在计算资源受限且数据流持续输入的实际图像分类系统中，实现持续学习。
• 开发一种在在线、顺序数据处理环境下，对新旧类别均表现优异的框架。
• 通过使用Food-101数据集的真实世界食物图像分类系统，验证方法的实际适用性。

提出的方法

• 提出一种改进的交叉蒸馏损失函数，在在线训练过程中增强当前模型与先前模型预测之间的知识蒸馏效果。
• 采用两步学习技术：首先，利用特征编码器从输入数据中学习表征知识；其次，应用知识蒸馏以保持旧类别的性能。
• 通过计算包含所有观测数据（包括新观测）的类别均值特征，动态更新每个旧类别的样本集。
• 采用分块特征聚合策略，并选择最优块大小（p=16），以提升在线更新过程中的表征学习效果。
• 应用调节比例（β=0.5），在增量学习过程中平衡新旧类别之间的性能表现。
• 结合基线方法与表征学习方法，根据数据可用性自动在两者之间切换，以最大化在线准确率。

实验结果

研究问题

• RQ1 在在线流式数据环境中，深度学习模型是否能够在持续学习新类别时，仍保持对先前学习类别的高性能？
• RQ2 在在线学习过程中，如何有效缓解旧类别数据分布发生未预见性偏移（即概念漂移）的问题？
• RQ3 统一框架是否能够在一个在线学习流程中同时处理新类别与旧类别的新观测样本？
• RQ4 所提出的改进交叉蒸馏损失结合两步学习方法，在在线场景下是否优于现有离线增量学习方法？
• RQ5 动态样本集更新在多大程度上提升了对未来数据流的长期性能表现？

主要发现

• 在Food-101数据集上，所提方法在所有增量学习阶段均实现了最高的在线准确率，优于基线方法与表征学习方法。
• 在CIFAR-100和ImageNet-1000数据集上，尽管处于更受限制的在线场景中，该框架在相同基准协议下仍达到了最先进性能。
• 即使不进行样本集更新，仅使用改进的交叉蒸馏损失，其性能也优于标准交叉熵损失与标准交叉蒸馏损失，且在所有增量步骤中表现更优。
• 动态样本集更新显著提升了旧类别在在线准确率上的表现，尤其在数据分布随时间发生偏移时效果更为明显。
• 表征学习与基线方法的结合实现了比单一方法更高的整体在线准确率，尤其在数据稀缺的早期阶段表现更优。
• 与基线方法相比，该方法在测试准确率上表现出显著提升，同时在终身学习设置下对新旧类别均保持了强劲的性能表现。