[论文解读] Class-Incremental Learning: A Survey

Da-Wei Zhou, Qiwei Wang+4 more|arXiv (Cornell University)|Feb 7, 2023

Domain Adaptation and Few-Shot Learning参考文献 237被引用 64

一句话总结

本论文综述深度类增量学习（CIL）方法，按数据、模型和算法为中心进行组织，统一评估并聚焦于在内存预算公平比较。

ABSTRACT

Deep models, e.g., CNNs and Vision Transformers, have achieved impressive achievements in many vision tasks in the closed world. However, novel classes emerge from time to time in our ever-changing world, requiring a learning system to acquire new knowledge continually. Class-Incremental Learning (CIL) enables the learner to incorporate the knowledge of new classes incrementally and build a universal classifier among all seen classes. Correspondingly, when directly training the model with new class instances, a fatal problem occurs -- the model tends to catastrophically forget the characteristics of former ones, and its performance drastically degrades. There have been numerous efforts to tackle catastrophic forgetting in the machine learning community. In this paper, we survey comprehensively recent advances in class-incremental learning and summarize these methods from several aspects. We also provide a rigorous and unified evaluation of 17 methods in benchmark image classification tasks to find out the characteristics of different algorithms empirically. Furthermore, we notice that the current comparison protocol ignores the influence of memory budget in model storage, which may result in unfair comparison and biased results. Hence, we advocate fair comparison by aligning the memory budget in evaluation, as well as several memory-agnostic performance measures. The source code is available at https://github.com/zhoudw-zdw/CIL_Survey/

研究动机与目标

• 定义类增量学习（CIL）并形式化问题设定与目标。
• 调查现有的深度CIL方法，涵盖数据为中心、模型为中心和算法为中心等类别。
• 提供一个统一、公平的评估框架，强调在多个基准上的内存预算。
• 分析样本管理（记忆缓冲区）并讨论隐私影响。
• 为未来的CIL研究和实际部署提供洞见。

提出的方法

• 在分类法上将CIL方法分为数据为中心、模型为中心和算法为中心（并设子类别）。
• 按时间顺序记录方法演变以展示研究重点的变化（图3）。
• 对16种方法在基准数据集(CIFAR100 和 ImageNet100/1000) 上进行统一的实证评估，并讨论内存预算的影响。
• 强调并倡导与内存预算对齐的评估和对预算无关的性能度量。
• 讨论样本集管理、用于样本选择的聚类/簇拥（herding）以及直接回放与生成式回放等替代方案。
• 在所述的 GitHub 存储库中提供用于复现实验的公开代码。

实验结果

研究问题

• RQ1 哪些分类法最能捕捉深度CIL方法的全貌？
• RQ2 在公平的内存预算评估下，数据为中心、模型为中心和算法为中心的方法如何比较？
• RQ3 内存预算对CIL性能和实验比较的实际影响是什么？
• RQ4 样本管理策略如何影响跨任务的遗忘与整体准确性？

主要发现

• 该综述提供了对深度CIL方法的全面分类学观点，按数据为中心、模型为中心和算法为中心的家族进行组织。
• 它在CIFAR100和ImageNet100/1000上，对16种方法在传统的CNN和ViT支持的方法上进行了统一评估。
• 内存预算是公平方法比较中的关键因素，本文倡导对齐的预算和预算无关的度量。
• 样本管理与数据回放/生成式回放是解决CIL中遗忘的核心，但在内存与隐私方面存在权衡。
• 最近的趋势包括主干网络/提示扩展以及基于ViT的策略，减轻增量任务下模型的增长。
• 作者公开源代码以复现实验。