[论文解读] Introducing Language Guidance in Prompt-based Continual Learning

Muhammad Gul Zain Ali Khan, Muhammad Ferjad Naeem+4 more|arXiv (Cornell University)|Aug 30, 2023

Domain Adaptation and Few-Shot LearningComputer Science被引用 3

一句话总结

本文提出语言引导提示持续学习（LGCL），一种即插即用的方法，通过将提示池键与视觉编码器输出对齐至预训练语言嵌入，增强基于提示的持续学习。无需额外可学习参数，LGCL 提升了泛化能力并减少了灾难性遗忘，在 Split CIFAR-100 和 ImageNet-R 等基准数据集上达到新的 SOTA 性能。

ABSTRACT

Continual Learning aims to learn a single model on a sequence of tasks without having access to data from previous tasks. The biggest challenge in the domain still remains catastrophic forgetting: a loss in performance on seen classes of earlier tasks. Some existing methods rely on an expensive replay buffer to store a chunk of data from previous tasks. This, while promising, becomes expensive when the number of tasks becomes large or data can not be stored for privacy reasons. As an alternative, prompt-based methods have been proposed that store the task information in a learnable prompt pool. This prompt pool instructs a frozen image encoder on how to solve each task. While the model faces a disjoint set of classes in each task in this setting, we argue that these classes can be encoded to the same embedding space of a pre-trained language encoder. In this work, we propose Language Guidance for Prompt-based Continual Learning (LGCL) as a plug-in for prompt-based methods. LGCL is model agnostic and introduces language guidance at the task level in the prompt pool and at the class level on the output feature of the vision encoder. We show with extensive experimentation that LGCL consistently improves the performance of prompt-based continual learning methods to set a new state-of-the art. LGCL achieves these performance improvements without needing any additional learnable parameters.

研究动机与目标

• 解决持续学习中的灾难性遗忘问题，且不依赖数据回放或架构扩展。
• 利用预训练语言模型的语义一致性，作为分离任务类别之间的统一表示空间。
• 通过在任务级（提示池键）和类别级（输出特征）引入语言引导，改进基于提示的持续学习。
• 开发一种模型无关的方法，在不增加可学习参数的前提下提升性能。
• 验证语言引导在不同文本编码器和关键初始化策略下的鲁棒性与有效性。

提出的方法

• 通过将提示池中的可学习键与整个任务类别标签的 CLIP 或 BERT 风格文本嵌入对齐，引入任务级语言引导。
• 通过将视觉编码器输出特征与真实类别标签的语言嵌入对齐，应用类别级语言引导。
• 使用对比损失最小化提示键嵌入与对应任务级语言表示之间的距离。
• 使用对比损失最小化视觉编码器输出特征与类别级语言嵌入之间的距离。
• 采用预训练文本编码器（如 CLIP、RoBERTa、BERT）为任务级和类别级引导提供语义嵌入。
• 通过仅集成损失函数而非增加额外参数，保持模型无关设计，将其融入现有基于提示的持续学习框架。

实验结果

研究问题

• RQ1 语言嵌入能否作为共享语义空间，统一持续学习任务中分离的类别集合？
• RQ2 在提示池键层面引入语言引导是否能提升任务泛化能力并减少遗忘？
• RQ3 将视觉编码器输出特征与类别级语言表示对齐，能否提升分类准确率与鲁棒性？
• RQ4 文本编码器的选择（如 CLIP 与 BERT）如何影响语言引导方法的性能？
• RQ5 当提示池中的键被冻结或可学习时，该方法是否仍有效？

主要发现

• 在 Split CIFAR-100 上，LGCL 达到新的 SOTA 表现，Dual Prompt + LGCL 在使用 CLIP 作为文本编码器时，平均准确率达到 87.23%，遗忘率仅为 5.10%。
• 在更具挑战性的 Split ImageNet-R 上，LGCL 将 Dual Prompt 的平均准确率从 69.46% 提升至 69.46%，遗忘率从 4.26% 降低至 4.20%，当同时应用任务级与类别级引导时。
• 消融实验确认，任务级与类别级语言引导均不可或缺，移除任一组件均导致性能下降。
• 使用 CLIP 的文本编码器性能最佳（准确率达 87.23%），尽管 BERT 和 RoBERTa 也表现出色，表明方法对文本编码器选择具有鲁棒性。
• 冻结 CLIP 文本编码器的键会导致性能下降（准确率为 86.15%），相较于可学习键（准确率为 87.23%），证明优化键表示具有显著优势。
• 该方法在不增加任何可学习参数的情况下实现性能提升，因此在资源受限场景下极具效率与可部署性。