[论文解读] Don't Stop Learning: Towards Continual Learning for the CLIP Model

Yuxuan Ding, Lingqiao Liu+3 more|arXiv (Cornell University)|Jul 19, 2022

Domain Adaptation and Few-Shot Learning被引用 11

一句话总结

本文提出 VR-LwF，一种针对 CLIP 模型的新型持续学习方法，通过蒸馏在随机生成的伪类别上的预测结果，缓解微调过程中的灾难性遗忘。该方法在保持 CLIP 的零样本能力和图文匹配性能的同时，提升了微调准确率，在零样本和检索基准测试中均优于现有持续学习方法（如 LwF 和 RKR）的直接适配方案。

ABSTRACT

The Contrastive Language-Image Pre-training (CLIP) Model is a recently proposed large-scale pre-train model which attracts increasing attention in the computer vision community. Benefiting from its gigantic image-text training set, the CLIP model has learned outstanding capabilities in zero-shot learning and image-text matching. To boost the recognition performance of CLIP on some target visual concepts, it is often desirable to further update the CLIP model by fine-tuning some classes-of-interest on extra training data. This operation, however, raises an important concern: will the update hurt the zero-shot learning or image-text matching capability of the CLIP, i.e., the catastrophic forgetting issue? If yes, could existing continual learning algorithms be adapted to alleviate the risk of catastrophic forgetting? To answer these questions, this work conducts a systemic study on the continual learning issue of the CLIP model. We construct evaluation protocols to measure the impact of fine-tuning updates and explore different ways to upgrade existing continual learning methods to mitigate the forgetting issue of the CLIP model. Our study reveals the particular challenges of CLIP continual learning problem and lays a foundation for further researches. Moreover, we propose a new algorithm, dubbed Learning without Forgetting via Replayed Vocabulary (VR-LwF), which shows exact effectiveness for alleviating the forgetting issue of the CLIP model.

研究动机与目标

• 探究对特定视觉类别微调 CLIP 是否会导致其零样本能力和图文匹配能力的灾难性遗忘。
• 评估现有持续学习算法（LwF、GeoDL、IMM、RKR）在 CLIP 模型持续学习设置下的可适配性。
• 设计并验证一种专为 CLIP 优化的新型持续学习方法，以在实现高效微调的同时保持预训练能力。
• 建立系统化的 CLIP 持续学习评估协议，实现遗忘和性能提升的可复现基准测试。

提出的方法

• VR-LwF 通过生成随机伪句子（重放词汇）来表示合成类别，实现知识蒸馏。
• 模型在新数据更新前后，对这些伪类别保持一致的预测 logits，从而在表示空间中实现稳定性。
• 蒸馏过程应用于重放的词汇而非更新后的类别，从而提升泛化能力并减少遗忘。
• 该方法在多种持续学习场景下进行评估：OST（单流）、MST（多流）以及 COCO/Flickr 检索任务。
• 消融研究对比了随机采样与自然描述重放，并调整采样长度和重放大小，以评估方法的鲁棒性与效率。
• 评估使用标准指标：UT-Acc（任务准确率）、ZS-Acc（零样本准确率）、Bwt（后向迁移）、TR@1/IR@1（检索性能）。

实验结果

研究问题

• RQ1 在新视觉类别上微调 CLIP 是否会导致其零样本能力和图文匹配能力的灾难性遗忘？
• RQ2 现有持续学习方法（如 LwF、GeoDL、IMM、RKR）能否被有效适配到 CLIP 模型的持续学习设置中以减少遗忘？
• RQ3 蒸馏目标的选择——更新后的类别 vs. 重放的伪类别——如何影响 CLIP 的性能与遗忘情况？
• RQ4 不同的重放策略（随机采样 vs. 描述重放）以及超参数（采样长度、重放大小）对 CLIP 持续学习性能有何影响？

主要发现

• 在多轮会话设置下，CLIP 经过微调后出现显著的灾难性遗忘，零样本准确率从原始模型的 62.62% 下降至 39.80%。
• 对现有持续学习方法（如 LwF 扩展）的直接适配虽能减少遗忘，但以牺牲微调性能为代价，OST 设置下 UT-Acc 为 72.82%，ZS-Acc 为 58.75%。
• VR-LwF 在 OST 上实现 74.41% 的 UT-Acc 和 62.03% 的 ZS-Acc，优于 LwF 扩展方案，在微调和零样本性能上均表现更优。
• 在多轮会话设置（MST）中，VR-LwF-WM 实现 61.13% 的 A-Acc 和 68.32% 的 TR@1，展现出跨数据集的强稳定性和可迁移性。
• 在 OST 中，描述重放略优于随机采样，但在 MST 中表现更差，表明语法并非性能的主导因素。
• 将重放大小（Ks）从 50 增加到 400 能略微提升 A-Acc，但训练成本上升，且在 Ks=200 之后收益递减。