[论文解读] CODA-Prompt: COntinual Decomposed Attention-based Prompting for Rehearsal-Free Continual Learning

James Smith, Leonid Karlinsky+7 more|arXiv (Cornell University)|Nov 23, 2022

Domain Adaptation and Few-Shot Learning被引用 13

一句话总结

CODA-Prompt 提出了一种端到端、基于分解注意力的提示方法，用于无回放持续学习，通过学习通过输入条件注意力权重组合的提示组件，提升了模型的可塑性和可扩展性。该方法在标准基准上实现最先进性能，平均准确率相比 DualPrompt 最高提升 4.5%，在同时存在类别和领域增量变化的双移位基准上提升 4.4%。

ABSTRACT

Computer vision models suffer from a phenomenon known as catastrophic forgetting when learning novel concepts from continuously shifting training data. Typical solutions for this continual learning problem require extensive rehearsal of previously seen data, which increases memory costs and may violate data privacy. Recently, the emergence of large-scale pre-trained vision transformer models has enabled prompting approaches as an alternative to data-rehearsal. These approaches rely on a key-query mechanism to generate prompts and have been found to be highly resistant to catastrophic forgetting in the well-established rehearsal-free continual learning setting. However, the key mechanism of these methods is not trained end-to-end with the task sequence. Our experiments show that this leads to a reduction in their plasticity, hence sacrificing new task accuracy, and inability to benefit from expanded parameter capacity. We instead propose to learn a set of prompt components which are assembled with input-conditioned weights to produce input-conditioned prompts, resulting in a novel attention-based end-to-end key-query scheme. Our experiments show that we outperform the current SOTA method DualPrompt on established benchmarks by as much as 4.5% in average final accuracy. We also outperform the state of art by as much as 4.4% accuracy on a continual learning benchmark which contains both class-incremental and domain-incremental task shifts, corresponding to many practical settings. Our code is available at https://github.com/GT-RIPL/CODA-Prompt

研究动机与目标

• 解决无数据回放场景下的灾难性遗忘问题，尤其适用于隐私敏感或大规模部署场景。
• 克服现有基于提示的方法中因缺乏端到端优化而导致的可塑性-弹性权衡问题，无法有效扩展提示容量。
• 通过引入分解提示机制，实现可扩展、参数高效的持续学习，通过提示组件数量的增加而非提示池大小来扩展容量。
• 提升对现实世界分布偏移的泛化能力，包括语义（类别增量）和协变量（领域增量）偏移。
• 在保持端到端可微性并避免提示选择过程中梯度消失的前提下，实现无回放持续学习的最先进性能。

提出的方法

• 将先前方法中固定的提示池替换为一组可学习的提示组件，通过基于注意力的、输入条件的权重动态组合这些组件。
• 提出一种新颖的基于注意力的组件加权机制，实现整个提示流程的端到端反向传播，不同于以往基于键-查询的方法，后者需要对键单独优化。
• 将提示分解为组件的加权和，其中权重通过应用于输入嵌入的可学习查询机制计算，实现动态、上下文感知的提示生成。
• 对提示组件施加正交性正则化，以提升稳定性并减少持续学习过程中的遗忘。
• 在后续任务训练过程中冻结先前学习到的提示组件，以保留知识，同时允许为新任务学习新组件。
• 使用标准反向传播对整个模型（包括提示组件和注意力权重）进行端到端优化，实现完整的梯度流动，提升可塑性。

实验结果

研究问题

• RQ1 与非可微的键-查询选择方法相比，端到端可训练的分解提示机制是否能提升无回放持续学习中的可塑性和性能？
• RQ2 通过增加提示组件数量而非固定提示池大小来扩展提示容量，是否能带来更好的可扩展性和性能提升？
• RQ3 在同时包含类别增量和领域增量分布偏移的双移位场景下，所提方法表现如何？
• RQ4 由于缺乏数据回放且采用端到端优化，遗忘情况和最终准确率受到何种影响？
• RQ5 在参数量相当的情况下，该方法是否能保持高性能，同时仍能通过增加容量实现有效扩展？

主要发现

• 在包含领域偏移的 10 任务 ImageNet-R 基准上，CODA-Prompt 实现了 71.35% 的新最先进平均准确率，相比 DualPrompt 提升 4.4%。
• 在标准类别增量基准上，CODA-Prompt 相比最先进方法 DualPrompt，平均准确率最高提升 4.5%。
• 消融研究显示，移除注意力键会使平均准确率下降 0.93%；移除冻结策略或正交性正则化则分别导致下降 0.85% 和 4.79%，证实了其关键作用。
• 即使提示长度固定，CODA-Prompt 仍能保持高性能，表明性能提升源于增加组件数量，而非提示长度，后者会迅速饱和。
• 该方法在组件数量增加时表现出有效扩展性，其性能更接近上限，而 DualPrompt 和 L2P 在提示池增大时出现平台期或性能下降。
• 在 5 任务 ImageNet-R 设置下，CODA-Prompt 使用 10 个组件（与 DualPrompt 的提示池大小相同）时已超越 DualPrompt，且进一步增加组件数量可带来显著性能增益，验证了其可扩展性。