[论文解读] Expandable Subspace Ensemble for Pre-Trained Model-Based Class-Incremental Learning

Da-Wei Zhou, Hailong Sun+2 more|arXiv (Cornell University)|Mar 18, 2024

Domain Adaptation and Few-Shot Learning被引用 5

一句话总结

Ease 在冻结的预训练模型上训练面向任务的轻量级适配器，以为类增量学习创建可扩展的子空间，并在没有示例的情况下通过语义合成旧类原型，构建一个鲁棒的集成分类器。

ABSTRACT

Class-Incremental Learning (CIL) requires a learning system to continually learn new classes without forgetting. Despite the strong performance of Pre-Trained Models (PTMs) in CIL, a critical issue persists: learning new classes often results in the overwriting of old ones. Excessive modification of the network causes forgetting, while minimal adjustments lead to an inadequate fit for new classes. As a result, it is desired to figure out a way of efficient model updating without harming former knowledge. In this paper, we propose ExpAndable Subspace Ensemble (EASE) for PTM-based CIL. To enable model updating without conflict, we train a distinct lightweight adapter module for each new task, aiming to create task-specific subspaces. These adapters span a high-dimensional feature space, enabling joint decision-making across multiple subspaces. As data evolves, the expanding subspaces render the old class classifiers incompatible with new-stage spaces. Correspondingly, we design a semantic-guided prototype complement strategy that synthesizes old classes' new features without using any old class instance. Extensive experiments on seven benchmark datasets verify EASE's state-of-the-art performance. Code is available at: https://github.com/sun-hailong/CVPR24-Ease

研究动机与目标

• 通过扩展子空间而不是覆盖骨干网络来推动 PTM 基于 CIL 中的灾难性遗忘的减少。
• 提出轻量级适配器以在保持 PTM 冻结的同时创建任务特定的子空间。
• 开发由语义关系引导的原型补全策略，在没有示例的情况下合成旧类分类器。
• 跨子空间汇聚预测，以维持统一的类别决策。
• 在七个基准上展示无示例训练的最先进性能。

提出的方法

• 为每个增量任务引入应用于冻结的预训练变换器的轻量级适配器，以形成多个任务特定子空间。
• 将基础编码器的特征与所有适配器拼接，形成一个联合的高维嵌入。
• 使用基于原型的余弦分类器，其中类别原型在每个适配器上计算并在跨适配器拼接（P_i = [p_i,1, ..., p_i,b]）。
• 通过在共现空间中的语义相似性在新子空间中计算旧类别原型，并在当前子空间中重建它们（式 (Eq. 9)）。
• 通过对角线适配器贡献赋予更高权重来进行子空间集成推理（式 (Eq. 12)），并从多个子空间聚合 logits（式 (Eq. 11)）。
• 仅针对每个增量任务优化适配器（以及通过原型的轻量级分类器）（式 (Eq. 5)）。

实验结果

研究问题

• RQ1 在冻结的 PTM 上，任务特定的轻量级适配器是否能在不损害以往学习知识的情况下捕捉新任务特征？
• RQ2 在扩展的子空间中是否有可能在不接触旧样本的情况下合成旧类别原型？
• RQ3 语义引导的原型补全与子空间再加权是否能够实现与基于示例和基于提示的 CIL 方法相竞争甚至优越的性能？
• RQ4 在多任务增量学习中，该方法在内存和参数预算方面的扩展性如何？

主要发现

• Ease 在七个基准上实现了无示例训练的最先进性能。
• 基于适配器的子空间提供多样化的、任务特定的特征，同时保持骨干网络不变。
• 语义原型补全使在没有旧示例的情况下也能在新子空间中重建旧类别原型。
• 在推理阶段通过强调任务特定子空间，子空间再加权提升最终预测。
• Ease 在参数成本低、与其他基于提示的方法相当的情况下维持了具有竞争力的性能。