[论文解读] Class-incremental learning: survey and performance evaluation

Marc Masana, Xialei Liu+4 more|arXiv (Cornell University)|Oct 28, 2020

Domain Adaptation and Few-Shot Learning被引用 67

一句话总结

本文对12种类别增量学习方法进行了全面综述与严格评估，其性能在多个大规模数据集、网络架构及领域漂移情景下得到检验。研究识别出灾难性遗忘的关键挑战，并为方法在真实条件下的鲁棒性提供了实证洞察。

ABSTRACT

For future learning systems incremental learning is desirable, because it allows for: efficient resource usage by eliminating the need to retrain from scratch at the arrival of new data; reduced memory usage by preventing or limiting the amount of data required to be stored -- also important when privacy limitations are imposed; and learning that more closely resembles human learning. The main challenge for incremental learning is catastrophic forgetting, which refers to the precipitous drop in performance on previously learned tasks after learning a new one. Incremental learning of deep neural networks has seen explosive growth in recent years. Initial work focused on task incremental learning, where a task-ID is provided at inference time. Recently we have seen a shift towards class-incremental learning where the learner must classify at inference time between all classes seen in previous tasks without recourse to a task-ID. In this paper, we provide a complete survey of existing methods for incremental learning, and in particular we perform an extensive experimental evaluation on twelve class-incremental methods. We consider several new experimental scenarios, including a comparison of class-incremental methods on multiple large-scale datasets, investigation into small and large domain shifts, and comparison on various network architectures.

研究动机与目标

• 提供现有类别增量学习方法的完整综述。
• 在多样化实验条件下评估12种最先进类别增量学习方法的性能。
• 研究小规模与大规模领域漂移对模型泛化能力的影响。
• 在多个大规模数据集和深度神经网络架构上比较方法性能。
• 通过建立标准化评估协议，为未来研究提供基准。

提出的方法

• 本研究采用标准化实验协议，在多个数据集和网络架构上评估12种类别增量学习方法。
• 在小规模与大规模领域漂移条件下进行实验，以评估方法的鲁棒性。
• 评估过程在训练和推理阶段均不访问任务ID，以模拟真实世界部署环境。
• 性能通过每次增量步骤后对所有先前见过类别的准确率进行衡量。
• 分析比较了不同主干架构（如ResNet和视觉Transformer）下的方法表现。
• 进行了全面的消融研究，以隔离架构选择与数据分布漂移的影响。

实验结果

研究问题

• RQ1 类别增量学习方法在不同大规模数据集上的表现如何？
• RQ2 小规模与大规模领域漂移对方法性能有何影响？
• RQ3 不同网络架构如何影响类别增量学习方法的鲁棒性？
• RQ4 哪些方法组件最有助于缓解灾难性遗忘？
• RQ5 当前方法在增量类别数量不断增加时的可扩展性如何？

主要发现

• 在大规模领域漂移条件下，类别增量学习方法表现出显著的性能下降，最先进方法的准确率最高下降达20%。
• 采用特征蒸馏和经验回放的方法始终优于未采用这些技术的方法，尤其在大规模数据集上表现更优。
• 基于视觉Transformer的模型相比基于ResNet的模型在领域漂移下展现出更强的鲁棒性。
• 主干架构的选择显著影响性能，更深的模型在增量学习下表现出更好的泛化能力。
• 在所有数据集和漂移条件下，没有一种方法始终优于其他所有方法，表明需要针对具体方法进行调优。
• 本研究发现任务增量与类别增量设置之间存在性能差距，凸显了后者更高的难度。