[论文解读] Margin-Based Few-Shot Class-Incremental Learning with Class-Level Overfitting Mitigation

Yixiong Zou, Shanghang Zhang+2 more|arXiv (Cornell University)|Oct 10, 2022

Domain Adaptation and Few-Shot Learning被引用 16

一句话总结

该论文提出CLOM，一种新型的基于边缘的少样本类增量学习方法，通过在正边缘（PM）和负边缘（NM）特征学习之间引入相互监督，缓解了类别级别的过拟合问题。通过跨分支指导和关系映射模块对模式学习进行约束，CLOM在CIFAR100、CUB200和miniImageNet上实现了最先进性能，在保持高基础类别准确率的同时，提升了新类别的一般化能力。

ABSTRACT

Few-shot class-incremental learning (FSCIL) is designed to incrementally recognize novel classes with only few training samples after the (pre-)training on base classes with sufficient samples, which focuses on both base-class performance and novel-class generalization. A well known modification to the base-class training is to apply a margin to the base-class classification. However, a dilemma exists that we can hardly achieve both good base-class performance and novel-class generalization simultaneously by applying the margin during the base-class training, which is still under explored. In this paper, we study the cause of such dilemma for FSCIL. We first interpret this dilemma as a class-level overfitting (CO) problem from the aspect of pattern learning, and then find its cause lies in the easily-satisfied constraint of learning margin-based patterns. Based on the analysis, we propose a novel margin-based FSCIL method to mitigate the CO problem by providing the pattern learning process with extra constraint from the margin-based patterns themselves. Extensive experiments on CIFAR100, Caltech-USCD Birds-200-2011 (CUB200), and miniImageNet demonstrate that the proposed method effectively mitigates the CO problem and achieves state-of-the-art performance.

研究动机与目标

• 为解决基于边缘的少样本类增量学习（FSCIL）中长期存在的困境：正边缘可提升基础类别准确率，但会损害新类别的一般化能力。
• 将该困境解释为在学习共享或类别特定模式时，约束条件易于满足所引发的类别级别过拟合（CO）问题。
• 设计一种方法，通过边缘模式自身提供的额外约束来缓解CO，从而同时提升基础类别和新类别的性能。
• 验证正边缘与负边缘特征之间的相互监督可有效减少过拟合并增强特征可迁移性。

提出的方法

• 该方法引入两个分支：正边缘（PM）分支用于学习具有判别性的类别特定模式，负边缘（NM）分支用于学习可迁移的共享模式。
• 通过从NM模式蒸馏知识来构建PM模式，确保PM特征受到更稳健、更具泛化能力的表征引导。
• 提出一种关系映射模块，将类别级别相似性嵌入模式学习过程，实现基于类别关系的自适应边缘分配。
• 采用基于CKA的监督对比学习目标，降低简单模式与学习特征之间的相似性，缓解约束条件易于满足的问题。
• 在不同分支中应用独立的边缘（正/负），并通过跨分支知识蒸馏保持特征一致性。
• 最终模型通过端到端联合优化基础类和增量类进行训练，采用结合交叉熵和对比项的统一损失函数。

实验结果

研究问题

• RQ1 为何在FSCIL中对基础类别训练应用正边缘会导致新类别上泛化能力下降？
• RQ2 从FSCIL中模式学习的角度出发，如何形式化解释类别级别过拟合（CO）问题？
• RQ3 在学习共享或类别特定模式时，导致CO的‘易于满足约束’问题的根源是什么？
• RQ4 正边缘与负边缘特征学习之间的相互监督是否能有效缓解CO并同时提升基础类别和新类别的性能？
• RQ5 关系映射模块在基于类别相似性自适应调整边缘分配方面，能在多大程度上增强泛化能力？

主要发现

• 所提出的CLOM方法在CIFAR100、CUB200和miniImageNet上实现了最先进性能，所有类别准确率均优于现有FSCIL方法。
• 在CIFAR100上，CLOM在增量设置下达到78.4%的准确率，显著优于基线方法在正负边缘条件下的表现。
• 即使在使用负边缘时，该方法仍保持高基础类别准确率（如CIFAR100上为92.1%），而以往方法通常会因此降低基础性能。
• 在所提方法下，简单模式与NM/PM特征之间的CKA相似度分别从0.1427降至0.1100（降低），从0.1427升至0.1476（提升），验证了过拟合减少和模式复杂度提升。
• 实验表明，当$m_{upper} < m_{ave}$且$m^{P}_{upper} > m^{P}_{ave}$时，关系映射模块能提升性能，表明在自适应边缘控制下，共享模式与类别特定模式的学习更优。
• PM与NM分支之间的相互监督有效缓解了基础类别和新类别性能的下降，证实了对CO困境的有效缓解。