[论文解读] A Simple Baseline that Questions the Use of Pretrained-Models in Continual Learning

Paul Janson, Wenxuan Zhang+2 more|arXiv (Cornell University)|Oct 10, 2022

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

本文提出了一种使用冻结预训练Transformer提取特征的简单最近均值分类器（NMC）基线方法，用于持续学习，在Split-CIFAR100上实现了83.70%的平均准确率——超越了大多数SOTA方法，表明仅使用预训练表征本身即可极为有效，从而质疑了复杂持续学习机制的必要性。

ABSTRACT

With the success of pretraining techniques in representation learning, a number of continual learning methods based on pretrained models have been proposed. Some of these methods design continual learning mechanisms on the pre-trained representations and only allow minimum updates or even no updates of the backbone models during the training of continual learning. In this paper, we question whether the complexity of these models is needed to achieve good performance by comparing them to a simple baseline that we designed. We argue that the pretrained feature extractor itself can be strong enough to achieve a competitive or even better continual learning performance on Split-CIFAR100 and CoRe 50 benchmarks. To validate this, we conduct a very simple baseline that 1) use the frozen pretrained model to extract image features for every class encountered during the continual learning stage and compute their corresponding mean features on training data, and 2) predict the class of the input based on the nearest neighbor distance between test samples and mean features of the classes; i.e., Nearest Mean Classifier (NMC). This baseline is single-headed, exemplar-free, and can be task-free (by updating the means continually). This baseline achieved 88.53% on 10-Split-CIFAR-100, surpassing most state-of-the-art continual learning methods that are all initialized using the same pretrained transformer model. We hope our baseline may encourage future progress in designing learning systems that can continually add quality to the learning representations even if they started from some pretrained weights.

研究动机与目标

• 评估在使用预训练模型时，复杂持续学习方法是否真正必要。
• 探究预训练模型的表征能力是否足以实现强大的持续学习性能。
• 提出一种最小化基线，避免使用任务标签、样本记忆和回放数据。
• 挑战在分布偏移下维持性能需要持续微调或架构修改的假设。
• 鼓励未来方法将重点放在随时间提升表征质量，而非仅缓解遗忘。

提出的方法

• 冻结预训练Transformer主干网络，并用其提取所有训练样本的特征。
• 在训练过程中，为每个任务计算类别的均值特征嵌入。
• 推理时，基于L2距离到类别均值特征，使用最近邻规则对测试样本进行分类。
• 以任务无关的方式增量更新类别均值特征，无需存储样本记忆。
• 在所有对比实验中使用相同的预训练主干网络，以确保公平评估。
• 在Split-CIFAR100、CoRe50、Split-ImageNet-R以及5个数据集基准上评估性能，缓冲区大小为零。

实验结果

研究问题

• RQ1 使用冻结预训练特征的简单最近均值分类器能否实现具有竞争力的持续学习性能？
• RQ2 当预训练特征本身已足够鲁棒时，SOTA持续学习方法的复杂性是否真正必要？
• RQ3 与使用回放、任务标签或动态架构扩展的SOTA方法相比，该最小化基线表现如何？
• RQ4 在持续学习中，预训练模型的表征质量是否会在分布偏移下退化？
• RQ5 考虑到简单基线的优异表现，当前基准在多大程度上反映了持续学习的真实挑战？

主要发现

• 所提出的NMC基线在10-Split-CIFAR100上实现了83.70%的平均准确率，超越了使用相同预训练主干网络的大多数SOTA方法。
• 在CoRe50上，基线实现了83.23%的平均准确率，优于L2P（78.33%），并达到更复杂方法的性能水平。
• 在Split-ImageNet-R和5个数据集基准上，该基线在未使用任何回放缓冲区的情况下也取得了具有竞争力的结果，且数据集多样性高于CIFAR-100。
• 在零缓冲区大小下，该方法在多个基准上优于多种无样本记忆和无缓冲区的方法，包括L2P和BiC。
• 结果表明，预训练模型提供了强大且鲁棒的表征，可能已捕获了大部分必要的不变性，从而降低了对复杂持续学习机制的需求。
• 本研究指出，许多SOTA方法可能并未在预训练模型基础上进一步提升表征质量，而只是缓解了遗忘问题。