[论文解读] Learning with Fantasy: Semantic-Aware Virtual Contrastive Constraint for Few-Shot Class-Incremental Learning

Zeyin Song, Yifan Zhao+4 more|arXiv (Cornell University)|Apr 2, 2023

Domain Adaptation and Few-Shot Learning被引用 6

一句话总结

本文提出了一种名为语义感知虚拟对比学习（Semantic-Aware Virtual Contrastive, SAVC）的新方法，用于少样本类增量学习（few-shot class-incremental learning），通过在基础阶段训练期间引入语义感知的虚拟类别，增强基础类别的分离能力并提升新类别的泛化性能。该方法在预定义变换生成的幻想空间中应用监督对比学习，实现了在三个主流FSCIL基准上的最先进性能，准确率相比交叉熵（CE）和监督对比学习（SCL）基线方法最高提升11.57%。

ABSTRACT

Few-shot class-incremental learning (FSCIL) aims at learning to classify new classes continually from limited samples without forgetting the old classes. The mainstream framework tackling FSCIL is first to adopt the cross-entropy (CE) loss for training at the base session, then freeze the feature extractor to adapt to new classes. However, in this work, we find that the CE loss is not ideal for the base session training as it suffers poor class separation in terms of representations, which further degrades generalization to novel classes. One tempting method to mitigate this problem is to apply an additional naive supervised contrastive learning (SCL) in the base session. Unfortunately, we find that although SCL can create a slightly better representation separation among different base classes, it still struggles to separate base classes and new classes. Inspired by the observations made, we propose Semantic-Aware Virtual Contrastive model (SAVC), a novel method that facilitates separation between new classes and base classes by introducing virtual classes to SCL. These virtual classes, which are generated via pre-defined transformations, not only act as placeholders for unseen classes in the representation space, but also provide diverse semantic information. By learning to recognize and contrast in the fantasy space fostered by virtual classes, our SAVC significantly boosts base class separation and novel class generalization, achieving new state-of-the-art performance on the three widely-used FSCIL benchmark datasets. Code is available at: https://github.com/zysong0113/SAVC.

研究动机与目标

• 为解决现有少样本类增量学习（FSCIL）方法因表示空间中基础类别分离不足而导致泛化性能差的问题。
• 探究通过语义变换引入虚拟类别是否能提升FSCIL中的类别判别力与泛化能力。
• 开发一种方法，在不访问未来类别数据的情况下，同时增强类内紧凑性与类间分离性。
• 通过利用幻想空间进行对比学习，在标准FSCIL基准上实现最先进性能。

提出的方法

• 在基础阶段训练期间，通过预定义变换（如颜色抖动、旋转、CutMix）生成虚拟类别，以扩展表示空间。
• 构建一个语义感知的幻想空间，使虚拟类别作为未见类别的占位符，丰富嵌入空间中的语义多样性。
• 应用一种结合全局与局部对比项的混合监督对比损失，使用可学习系数α和β来平衡两部分。
• 通过交叉熵损失与所提出的语义感知虚拟对比损失联合训练主干网络，以改善类别分离。
• 在基础训练完成后冻结特征提取器，在增量阶段仅微调分类头或顶层层，以保留旧知识。
• 使用t-SNE和混淆矩阵可视化分析表示质量与决策边界稳定性。

实验结果

研究问题

• RQ1 通过语义变换生成的虚拟类别是否能提升FSCIL中基础类别的分离能力和新类别的泛化能力？
• RQ2 与标准交叉熵（CE）和监督对比学习（SCL）相比，对比学习中引入幻想空间是否能减少旧类别与新类别嵌入之间的重叠？
• RQ3 不同类型的变换对虚拟对比框架性能有何影响？
• RQ4 在增量微调阶段，可训练层与超参数（α, β）的最优配置是什么？
• RQ5 所提出方法在标准FSCIL基准上相较于现有最先进基线方法的性能优势有多大？

主要发现

• 在mini-ImageNet上进行增量微调时，SAVC相比基线交叉熵（CE）方法准确率最高提升11.57%。
• t-SNE可视化结果证实，该方法提升了基础类别的分离能力，并减少了旧类别与新类别之间的重叠，结果在CIFAR100上得到验证。
• 使用局部对比损失（MC）可带来10.26%的性能增益，表明关注局部特征模式能有效提升泛化能力。
• 最优超参数设置为α=0.2和β=0.8，且模型对超参数变化表现出强鲁棒性。
• 在CIFAR100、CUB200和miniImageNet三个基准上，SAVC均达到新的最先进性能，相比SCL最高提升8.98%。
• 混淆矩阵分析表明，SAVC在基础类别与新类别上均保持强性能，有效避免了旧类别与新类别之间的混淆。