[论文解读] Few-shot Class-incremental Learning for Classification and Object Detection: A Survey

Jinghua Zhang, Li Liu+3 more|arXiv (Cornell University)|Aug 13, 2023

Domain Adaptation and Few-Shot LearningComputer Science被引用 3

一句话总结

本综述全面概述了少样本类增量学习（FSCIL），这是一种使模型能够在保留先前知识的同时，从少量标注样本中学习新类别的范式。它系统分析了灾难性遗忘和稳定性-可塑性权衡等挑战，回顾了基于数据、基于结构和基于优化的方法在FSCIC和FSCIOD中的应用，并指出了关键研究方向，包括联邦学习和不完整FSCIL。

ABSTRACT

Few-shot Class-Incremental Learning (FSCIL) presents a unique challenge in Machine Learning (ML), as it necessitates the Incremental Learning (IL) of new classes from sparsely labeled training samples without forgetting previous knowledge. While this field has seen recent progress, it remains an active exploration area. This paper aims to provide a comprehensive and systematic review of FSCIL. In our in-depth examination, we delve into various facets of FSCIL, encompassing the problem definition, the discussion of the primary challenges of unreliable empirical risk minimization and the stability-plasticity dilemma, general schemes, and relevant problems of IL and Few-shot Learning (FSL). Besides, we offer an overview of benchmark datasets and evaluation metrics. Furthermore, we introduce the Few-shot Class-incremental Classification (FSCIC) methods from data-based, structure-based, and optimization-based approaches and the Few-shot Class-incremental Object Detection (FSCIOD) methods from anchor-free and anchor-based approaches. Beyond these, we present several promising research directions within FSCIL that merit further investigation.

研究动机与目标

• 为解决传统深度学习在动态、数据稀缺环境中的局限性，通过每新类别仅使用少量标注样本实现持续学习。
• 系统分析FSCIL中的核心挑战，包括灾难性遗忘、因样本稀缺导致的过拟合，以及稳定性-可塑性困境。
• 对分类与目标检测任务中的FSCIL方法进行结构化综述，按基于数据、基于结构和基于优化的方法进行分类。
• 突出展示基准数据集、评估指标以及FSCIL中的开放问题，包括隐私感知和不完整学习场景。
• 识别新兴研究方向，如联邦FSCIL、基础模型集成以及长期学习中的鲁棒知识蒸馏。

提出的方法

• 将FSCIL方法分类为基于数据、基于结构和基于优化的方法，用于少样本类增量分类（FSCIC）。
• 回顾基于锚点和无锚点的方法在少样本类增量目标检测（FSCIOD）中的应用，强调检测头设计与特征对齐。
• 分析知识蒸馏（KD）技术在增量学习中保留旧类别性能的作用，尤其在旧数据有限的情况下。
• 提出利用自监督预训练和基础模型（如CLIP、SAM、GPT）以增强低数据场景下的初始知识获取。
• 引入前向兼容性与数据增强技术，以提升基础模型初始化阶段的泛化能力。
• 讨论基于重放的策略及其隐私权衡，并倡导采用隐私保护型替代方案，如知识蒸馏与联邦学习的集成。

实验结果

研究问题

• RQ1 模型如何在仅依赖少量标注样本的情况下有效学习新类别，同时保留对先前学习类别的知识？
• RQ2 FSCIL中的关键技术挑战是什么，特别是灾难性遗忘和数据稀缺下的过拟合问题？
• RQ3 在FSCIC和FSCIOD中，基于数据、基于结构和基于优化的方法在性能与可扩展性方面如何比较？
• RQ4 基础模型与自监督预训练在低样本设置下对提升初始模型泛化能力起到何种作用？
• RQ5 FSCIL中最具前景的未来研究方向是什么，包括联邦学习、不完整学习和隐私感知学习范式？

主要发现

• 过去四年中，FSCIL发展迅速，由于其在数据稀缺、动态环境中的实际应用价值，研究关注度持续上升。
• 当前FSCIL方法通常依赖大量基础类别数据进行主干网络初始化，这限制了其在真实场景中的适用性与泛化能力评估。
• 知识蒸馏仍是广泛使用的知识保留技术，但有效旧样本选择与蒸馏效率仍为开放挑战。
• 如CLIP和GPT等基础模型在提升FSCIL中初始知识获取与迁移性能方面展现出强大潜力。
• 由于隐私顾虑与真实世界数据分布异构性，联邦FSCIL与不完整FSCIL正成为关键研究方向。
• 尽管已有进展，隐私与安全问题在FSCIL中仍研究不足，特别是在数据重放机制与对抗性攻击漏洞方面。