[论文解读] Generalized Few-Shot Continual Learning with Contrastive Mixture of Adapters

Yawen Cui, Zitong Yu+4 more|arXiv (Cornell University)|Feb 12, 2023

Domain Adaptation and Few-Shot Learning被引用 5

一句话总结

本文提出广义少样本持续学习（GFSCL），一种新型基准测试协议，统一了类别增量学习与领域增量学习，并在未见领域上进行泛化评估。该工作提出对比适配器混合（CMoA），一种无需回放的视觉Transformer框架，通过动态适配器混合实现类别增量学习，结合原型校准的对比学习以减少领域偏移，在mini-ImageNet和mini-DomainNet上达到与基于回放方法相当的性能。

ABSTRACT

The goal of Few-Shot Continual Learning (FSCL) is to incrementally learn novel tasks with limited labeled samples and preserve previous capabilities simultaneously, while current FSCL methods are all for the class-incremental purpose. Moreover, the evaluation of FSCL solutions is only the cumulative performance of all encountered tasks, but there is no work on exploring the domain generalization ability. Domain generalization is a challenging yet practical task that aims to generalize beyond training domains. In this paper, we set up a Generalized FSCL (GFSCL) protocol involving both class- and domain-incremental situations together with the domain generalization assessment. Firstly, two benchmark datasets and protocols are newly arranged, and detailed baselines are provided for this unexplored configuration. We find that common continual learning methods have poor generalization ability on unseen domains and cannot better cope with the catastrophic forgetting issue in cross-incremental tasks. In this way, we further propose a rehearsal-free framework based on Vision Transformer (ViT) named Contrastive Mixture of Adapters (CMoA). Due to different optimization targets of class increment and domain increment, the CMoA contains two parts: (1) For the class-incremental issue, the Mixture of Adapters (MoA) module is incorporated into ViT, then cosine similarity regularization and the dynamic weighting are designed to make each adapter learn specific knowledge and concentrate on particular classes. (2) For the domain-related issues and domain-invariant representation learning, we alleviate the inner-class variation by prototype-calibrated contrastive learning. The codes and protocols are available at https://github.com/yawencui/CMoA.

研究动机与目标

• 为解决少样本持续学习中类别增量与领域增量学习缺乏统一评估的问题，同时实现对未见领域的泛化能力。
• 提出一种新的基准测试协议与数据集配置，将类别增量学习与领域增量学习在交替会话中结合。
• 开发一种无需回放的框架，以缓解灾难性遗忘，并提升少样本持续学习中的领域泛化能力。
• 评估在未见领域上的泛化性能，弥补先前少样本持续学习研究中的空白。

提出的方法

• 提出一种新的GFSCL协议，交替进行类别增量学习与领域增量学习会话，采用5类5-shot或3类2-shot的少样本设置。
• 提出对比适配器混合（CMoA），一种基于ViT的框架，引入适配器混合（MoA）模块以实现动态、任务特定的知识学习。
• 应用余弦相似度正则化与动态适配器加权，确保每个适配器专注于特定类别，避免干扰。
• 采用原型校准的对比学习，以减少类内差异，并在不同领域间学习领域不变表示。
• 使用双分支对比损失：一个用于类别特定知识学习，另一个用于领域鲁棒的特征学习。
• 采用六项指标（包括总体准确率与泛化准确率）评估在已见与未见领域上的性能。

实验结果

研究问题

• RQ1 少样本持续学习框架能否有效同时处理类别增量与领域增量场景？
• RQ2 与现有基于回放的方法相比，所提出的CMoA框架在未见领域上的泛化性能如何？
• RQ3 结合余弦相似度正则化的动态适配器混合在提升知识专业化与减少遗忘方面有多大改善？
• RQ4 原型校准的对比学习是否能增强持续学习设置下的领域不变表示学习？
• RQ5 当每个会话中出现来自全新领域的全新类别且无先验领域知识时，该框架表现如何？

主要发现

• CMoA在mini-ImageNet与mini-DomainNet上均达到与基于回放方法相当的性能，展现出优异的稳定性和可塑性。
• 在mini-ImageNet上，CMoA在3类2-shot设置下达到78.4%的总体准确率，优于现有FSCL基线方法。
• 在mini-DomainNet上，CMoA实现68.2%的总体准确率与52.1%的未见领域泛化准确率，展现出强大的领域泛化能力。
• 消融实验表明，动态适配器加权与原型校准的对比学习对性能至关重要，尤其在缓解遗忘方面效果显著。
• 可视化结果表明，CMoA在显著区域上学习到更集中的注意力图，优于标准ViT，表明其具备更优的特征学习能力。
• 在更具挑战性的场景下（每个会话中出现全新领域的全新类别），CMoA初始性能有所下降，但最终超越ViT与适配器基线，表明未来仍有改进空间。