[论文解读] MetaGCD: Learning to Continually Learn in Generalized Category Discovery

Yanan Wu, Zhixiang Chi+2 more|arXiv (Cornell University)|Aug 21, 2023

Domain Adaptation and Few-Shot LearningComputer Science被引用 3

一句话总结

MetaGCD 提出了一种元学习框架，用于持续广义类别发现（C-GCD），使模型能够从同时包含已知类别和新类别的未标注数据中，持续发现新类别，同时最小化灾难性遗忘。通过利用元优化和软邻域对比损失，MetaGCD 实现了最先进性能，在多个基准测试中，最终新类别准确率相比基线最高提升 6.25%。

ABSTRACT

In this paper, we consider a real-world scenario where a model that is trained on pre-defined classes continually encounters unlabeled data that contains both known and novel classes. The goal is to continually discover novel classes while maintaining the performance in known classes. We name the setting Continual Generalized Category Discovery (C-GCD). Existing methods for novel class discovery cannot directly handle the C-GCD setting due to some unrealistic assumptions, such as the unlabeled data only containing novel classes. Furthermore, they fail to discover novel classes in a continual fashion. In this work, we lift all these assumptions and propose an approach, called MetaGCD, to learn how to incrementally discover with less forgetting. Our proposed method uses a meta-learning framework and leverages the offline labeled data to simulate the testing incremental learning process. A meta-objective is defined to revolve around two conflicting learning objectives to achieve novel class discovery without forgetting. Furthermore, a soft neighborhood-based contrastive network is proposed to discriminate uncorrelated images while attracting correlated images. We build strong baselines and conduct extensive experiments on three widely used benchmarks to demonstrate the superiority of our method.

研究动机与目标

• 为解决现有方法在广义类别发现中的局限性，这些方法假设未标注数据仅包含新类别，或需要重复重新训练。
• 提出一种更真实的持续学习设定——持续广义类别发现（C-GCD），其中模型随时间逐步接触混合的已知类别和新类别。
• 在实现新类别增量发现的同时，最小化灾难性遗忘，采用完全可学习的端到端框架。
• 在预训练阶段利用离线标注数据，为未来持续学习任务做好准备，避免使用启发式或手工设计的策略。

提出的方法

• MetaGCD 采用元学习框架，通过结合两个相互冲突的目标的元目标，优化模型以平衡新类别发现与知识保留。
• 该方法使用基于软邻域的对比学习模块，通过计算实例与其邻居之间的相关性权重来定义正样本对，从而实现更鲁棒的特征学习。
• 可微分注意力机制为邻居分配软相关性分数，使模型能够聚焦于高度相关的样本，同时抑制无关样本。
• 模型通过元优化循环进行训练，其中每次内层更新模拟一次增量学习会话，而元更新则最小化已知类别和新类别性能的联合损失。
• 该框架在离线标注数据上进行训练，以模拟未来的增量会话，使模型能够学习如何在持续学习设定中实现“学会学习”。
• 对超参数（如邻居选择的相似度阈值和元训练中新类别的数量）进行了分析与调优，以实现最佳性能。

Figure 1 : Illustration of our C-GCD setting . During the offline training, we learn an initial model based on training samples of the labeled set. During each subsequent online incremental learning, we are given some unlabeled images belonging to both known and novel classes. Our goal is to update

实验结果

研究问题

• RQ1 是否可以离线训练模型，使其在真实世界设定中持续发现新类别，其中未标注数据同时包含已知类别和新类别？
• RQ2 如何利用元学习联合优化新类别发现与遗忘缓解，以实现持续学习？
• RQ3 实例与其邻居之间的软相关性建模对表征质量与分类准确率有何影响？
• RQ4 元训练中新类别的数量如何影响模型泛化到新增量任务的能力？
• RQ5 与二元正/负样本标注相比，采用软正样本的对比学习目标在持续发现中能多大程度上提升性能？

主要发现

• 在 CIFAR100 上，MetaGCD 相较于 VanillaGCD 基线，最终新类别准确率提升 6.25%，在三个基准测试中，最终全部类别准确率分别提升 3.12% 和 4.09%。
• 软邻域对比学习组件通过实现更细致的正样本对选择，使新类别准确率提升 1.66 个百分点（从 62.89% 提升至 64.55%）。
• 邻居选择的阈值为 0.85 时性能最优，能有效平衡相关样本的包含与误报的排除。
• 元学习显著提升了泛化能力，通过显式优化发现与保留任务，使最终全部类别准确率达到 74.56%。
• 在元训练中使用更多新类别（如 10 个）进行训练的模型展现出更强的鲁棒性与泛化能力，相比类别较少的情况，过拟合风险更低。
• 混淆矩阵显示，MetaGCD 的预测结果集中在对角线上，表明遗忘现象减少，且在已知类别与新类别上均实现了更优的类别级性能。

Figure 2 : Overview of the proposed MetaGCD . (a) Our soft neighborhood contrastive learning network aims to discriminate uncorrelated instances while absorbing correlated instances to learn discriminative representations. (b) Our meta-learning optimization strategy utilizes the offline labeled data