[论文解读] Few-Shot Class-Incremental Learning from an Open-Set Perspective

Can Peng, Kun Zhao+3 more|arXiv (Cornell University)|Jul 30, 2022

Domain Adaptation and Few-Shot Learning被引用 7

一句话总结

本文提出 ALICE，一种少样本类增量学习方法，通过使用角度惩罚损失提升在极端数据稀缺条件下的特征判别力与泛化能力。通过整合类别增强与数据增强，并结合平衡原型学习，ALICE 在 CIFAR100、miniImageNet 和 CUB200 上实现了最先进性能，在一次学习设置下相比先前方法最高提升 3.2% 的调和准确率。

ABSTRACT

The continual appearance of new objects in the visual world poses considerable challenges for current deep learning methods in real-world deployments. The challenge of new task learning is often exacerbated by the scarcity of data for the new categories due to rarity or cost. Here we explore the important task of Few-Shot Class-Incremental Learning (FSCIL) and its extreme data scarcity condition of one-shot. An ideal FSCIL model needs to perform well on all classes, regardless of their presentation order or paucity of data. It also needs to be robust to open-set real-world conditions and be easily adapted to the new tasks that always arise in the field. In this paper, we first reevaluate the current task setting and propose a more comprehensive and practical setting for the FSCIL task. Then, inspired by the similarity of the goals for FSCIL and modern face recognition systems, we propose our method -- Augmented Angular Loss Incremental Classification or ALICE. In ALICE, instead of the commonly used cross-entropy loss, we propose to use the angular penalty loss to obtain well-clustered features. As the obtained features not only need to be compactly clustered but also diverse enough to maintain generalization for future incremental classes, we further discuss how class augmentation, data augmentation, and data balancing affect classification performance. Experiments on benchmark datasets, including CIFAR100, miniImageNet, and CUB200, demonstrate the improved performance of ALICE over the state-of-the-art FSCIL methods.

研究动机与目标

• 解决当前 FSCIL 基准仅依赖类别平均准确率、无法检测数据不平衡导致偏差的局限性。
• 重新定义 FSCIL 任务，使其更贴近现实世界开放集场景下的极端数据稀缺情况，如一次学习。
• 通过确保基础特征提取器能够表征已知类别与未来未见类别，提升模型泛化能力。
• 研究数据处理技术（类别增强、数据增强、平衡数据嵌入）对 FSCIL 性能的影响。
• 开发对灾难性遗忘具有鲁棒性、且在低 shot 增量学习场景下有效的模型。

提出的方法

• 用角度惩罚损失（受人脸识别启发）替代标准交叉熵损失，以增强特征紧凑性与类间分离度。
• 在主干网络后引入投影层，以提升基础类与增量类之间特征的多样性与可迁移性。
• 应用类别特定的数据增强与标准数据增强（如随机裁剪、颜色抖动）以增强特征鲁棒性。
• 使用平衡最近类均值（NMC）进行原型生成，确保基础类与增量类对预测贡献相等，从而减少预测偏差。
• 通过在 CIFAR100 上进行网格搜索，优化超参数（余弦边界 m = 0.4，缩放因子 s = 30），以获得最佳性能。
• 端到端训练模型，结合角度损失与数据增强，同时在大多数设置中冻结主干网络以保留先验知识。

实验结果

研究问题

• RQ1 所提出的 FSCIL 基准设置（包含一次学习与开放集条件）相比现有设置，如何更真实地反映现实部署中的挑战？
• RQ2 在少样本增量学习中，使用角度惩罚损失在多大程度上提升了特征聚类与判别能力？
• RQ3 类别增强、数据增强与平衡数据嵌入三者如何共同影响 FSCIL 中的模型泛化能力与准确率？
• RQ4 在极端数据稀缺场景（如一次学习）下，使用角度损失与平衡原型学习的模型是否能超越最先进方法？
• RQ5 在增量学习会话中，哪些超参数设置（边界与缩放因子）能实现最优性能？

主要发现

• 在 8 步 5 类 5 小样本的 CIFAR100 基准上，ALICE 相较最先进方法实现了 3.2% 的绝对调和准确率提升，且在后期增量步骤中提升最大。
• 与数据增强和平衡数据嵌入结合时，使用角度惩罚损失相比交叉熵损失可将调和准确率提升 2.8%。
• 类别增强、数据增强与投影层的组合相比基线交叉熵训练，使调和准确率提升 5.2%。
• 平衡原型生成显著减少了预测偏差，当结合角度惩罚损失时，调和准确率提升达 9.0 分。
• t-SNE 可视化结果表明，角度惩罚损失生成的特征聚类更紧密、类间分离更优，尤其在结合增强技术时效果更明显。
• 超参数分析显示，在余弦边界 m = 0.4 与缩放因子 s = 30 时性能最优，s = 20 或 s = 30 在各会话中均表现强劲。