[论文解读] Forward Compatible Few-Shot Class-Incremental Learning

Da-Wei Zhou, Fuyun Wang+4 more|arXiv (Cornell University)|Mar 14, 2022

Domain Adaptation and Few-Shot Learning被引用 15

一句话总结

该论文提出了一种名为 ForwArd Compatible Training (Fact) 的新型少样本类增量学习框架，通过在嵌入空间中预先分配虚拟原型，为未来类别预留空间，从而提升模型的前向兼容性。通过优化这些虚拟原型并利用实例混合生成虚拟样本，Fact 使模型能够有效抵抗灾难性遗忘，并以最小的性能下降高效地整合新类别，在基准数据集上实现了最先进（SOTA）的准确率。

ABSTRACT

Novel classes frequently arise in our dynamically changing world, e.g., new users in the authentication system, and a machine learning model should recognize new classes without forgetting old ones. This scenario becomes more challenging when new class instances are insufficient, which is called few-shot class-incremental learning (FSCIL). Current methods handle incremental learning retrospectively by making the updated model similar to the old one. By contrast, we suggest learning prospectively to prepare for future updates, and propose ForwArd Compatible Training (FACT) for FSCIL. Forward compatibility requires future new classes to be easily incorporated into the current model based on the current stage data, and we seek to realize it by reserving embedding space for future new classes. In detail, we assign virtual prototypes to squeeze the embedding of known classes and reserve for new ones. Besides, we forecast possible new classes and prepare for the updating process. The virtual prototypes allow the model to accept possible updates in the future, which act as proxies scattered among embedding space to build a stronger classifier during inference. FACT efficiently incorporates new classes with forward compatibility and meanwhile resists forgetting of old ones. Extensive experiments validate FACT's state-of-the-art performance. Code is available at: https://github.com/zhoudw-zdw/CVPR22-Fact

研究动机与目标

• 为解决少样本类增量学习（FSCIL）中的灾难性遗忘问题，即在仅用少量样本学习新类别时出现的灾难性遗忘。
• 通过实现前向兼容而非仅依赖后向兼容，提升模型的鲁棒性与泛化能力。
• 在基础学习阶段主动为未来类别预留嵌入空间，确保模型可扩展且不破坏旧类别表征。
• 通过虚拟样本和原型预测潜在未来类别，提升模型对增量更新的准备程度。
• 通过结合嵌入空间预留与通过虚拟数据增强实现的鲁棒泛化，实现 FSCIL 中的最先进性能。

提出的方法

• 在基础阶段于嵌入空间中预先分配虚拟原型，为未来类别预留空间，使模型具备可扩展性。
• 通过最小化类内方差并最大化类间边距来优化虚拟原型，采用带有权衡超参数 γ 的对比损失。
• 通过流形混合（manifold mixup）生成虚拟样本，以模拟潜在的未来类别，使模型能提前适应未来更新。
• 在推理过程中将虚拟原型用作信息丰富的基向量，构建更强的增量分类器，而无需微调主干网络。
• 将虚拟原型整合到分类头中，使模型能使用统一且紧凑的表征对已知和新类别进行分类。
• 端到端训练模型，损失函数结合交叉熵、真实与虚拟原型的对比损失，以及用于稳定性的正则化项。

实验结果

研究问题

• RQ1 是否能通过在基础学习阶段为未来类别预留嵌入空间，有效实现 FSCIL 中的前向兼容性？
• RQ2 虚拟原型与虚拟样本的使用在少样本增量学习中如何提升模型性能与泛化能力？
• RQ3 与传统后向兼容方法相比，前向兼容在多大程度上减少了灾难性遗忘？
• RQ4 模型性能对超参数（如虚拟原型数量和损失权衡）的敏感程度如何？
• RQ5 实例混合方法的选择（如流形混合、CutMix）是否显著影响模型对未见类别的泛化能力？

主要发现

• Fact 在 CUB200 和 miniImageNet 数据集上均达到最先进性能，优于 Decoupled-Cosine 和 CEC 等现有方法，新旧类别准确率均更优。
• 模型在新类别上表现优异，CUB200 上的调和平均准确率达到 78.6%，展现出强大的前向兼容性。
• 增加虚拟原型数量（V）可提升性能，至 V=40 时达到峰值，之后增益趋于平缓，表明 V=40 在多数设置下为最优值。
• 模型对不同实例混合方法具有鲁棒性，其中流形混合（α=0.5）表现最佳，且在各类设置中均保持高性能。
• 随着支持样本数（K）增加，性能提升，但当 K>20 后增益趋于平缓，表明大样本设置下收益递减。
• 最优超参数设置为 γ=0.01 且 V=NB（新类别数量），在表征紧凑性与泛化能力之间实现最佳平衡。