[论文解读] AttriCLIP: A Non-Incremental Learner for Incremental Knowledge Learning

Runqi Wang, Xiaoyue Duan+6 more|arXiv (Cornell University)|May 19, 2023

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

AttriCLIP 提出了一种非增量式持续学习框架，利用冻结的 CLIP 主干网络，并从固定的属性词库中学习特定于任务的属性提示，从而无需参数扩展或回放记忆。通过使用动态的、基于属性的文本提示实现零样本分类，该方法在长序列、领域偏移的持续学习基准上实现了最先进性能。

ABSTRACT

Continual learning aims to enable a model to incrementally learn knowledge from sequentially arrived data. Previous works adopt the conventional classification architecture, which consists of a feature extractor and a classifier. The feature extractor is shared across sequentially arrived tasks or classes, but one specific group of weights of the classifier corresponding to one new class should be incrementally expanded. Consequently, the parameters of a continual learner gradually increase. Moreover, as the classifier contains all historical arrived classes, a certain size of the memory is usually required to store rehearsal data to mitigate classifier bias and catastrophic forgetting. In this paper, we propose a non-incremental learner, named AttriCLIP, to incrementally extract knowledge of new classes or tasks. Specifically, AttriCLIP is built upon the pre-trained visual-language model CLIP. Its image encoder and text encoder are fixed to extract features from both images and text. Text consists of a category name and a fixed number of learnable parameters which are selected from our designed attribute word bank and serve as attributes. As we compute the visual and textual similarity for classification, AttriCLIP is a non-incremental learner. The attribute prompts, which encode the common knowledge useful for classification, can effectively mitigate the catastrophic forgetting and avoid constructing a replay memory. We evaluate our AttriCLIP and compare it with CLIP-based and previous state-of-the-art continual learning methods in realistic settings with domain-shift and long-sequence learning. The results show that our method performs favorably against previous state-of-the-arts. The implementation code can be available at https://github.com/bhrqw/AttriCLIP.

研究动机与目标

• 在不扩展模型参数的情况下，解决持续学习中的灾难性遗忘和分类器偏差问题。
• 通过利用预训练的视觉-语言模型并结合动态提示微调，消除对回放记忆的需求。
• 在非增量式方式下实现增量知识学习，使模型参数在初始预训练后保持固定。
• 通过基于属性的文本监督，提升长序列、领域偏移持续学习场景下的泛化能力和稳定性。
• 开发一种基于提示的框架，使模型能够适应新类别，而无需微调视觉或文本编码器。

提出的方法

• 将 CLIP 的冻结图像和文本编码器作为固定的特征提取器。
• 引入一个可学习的属性词库，其中包含（键，提示）对，键代表图像属性，提示为可调的文本描述。
• 对于每张输入图像，基于图像属性特征与键嵌入之间的相似度，选择 top-k 提示。
• 将所选提示与类别名称拼接，形成用于对比分类的动态文本描述。
• 仅对提示参数进行端到端训练，保持 CLIP 编码器冻结。
• 使用图像特征与组合文本表示（类别名称 + 所选提示）之间的对比损失进行分类。

实验结果

研究问题

• RQ1 非增量学习者是否能在不扩展参数或使用回放记忆的情况下实现稳定的持续学习？
• RQ2 基于属性的提示微调是否能有效缓解长序列、领域偏移持续学习中的灾难性遗忘？
• RQ3 AttriCLIP 在零样本和少样本持续学习设置下的性能与最先进方法相比如何？
• RQ4 所学习的提示在多大程度上捕捉了不同图像类别间有意义且具有类别判别性的属性？
• RQ5 固定大小的属性词库是否能在不发生灾难性遗忘的情况下，泛化到多样且按顺序到达的数据集？

主要发现

• 在 ImageNet100 之后以增量方式训练 CIFAR100 时，AttriCLIP 达到 82.3% 的平均准确率，优于基于 CLIP 和先前最先进方法的模型，且无需任何回放记忆。
• 在 ImageNet100 + CIFAR100 长序列基准上，AttriCLIP 达到 78.3% 的准确率，显著优于 DualPrompt（67.1%）和 L2P（64.6%）。
• 在 ImageNet100 基准上，AttriCLIP 在从 ImageNet100 微调后达到 90.3% 的准确率，表现出强大的稳定性和低遗忘性。
• 该方法对新数据集表现出稳健的泛化能力，在先前未见过的领域上性能下降极小。
• 通过 Grad-CAM 可视化证实，所学习的提示关注于语义上有意义的图像属性，如“帽子”或“躺在草地上”。
• AttriCLIP 避免了分类器偏差和参数增长，持续学习过程中始终保持固定模型大小。