[论文解读] Continual Learning with Foundation Models: An Empirical Study of Latent Replay

Оleksiy Ostapenko, Timothée Lesort+5 more|arXiv (Cornell University)|Apr 30, 2022

Domain Adaptation and Few-Shot Learning被引用 9

一句话总结

本文研究了在潜在空间中使用冻结的主干模型作为特征提取器进行持续学习（CL）的方法，比较了潜在经验回放（ER）与在原始数据上进行端到端微调的性能。研究发现，潜在ER在计算成本显著更低的情况下仍能取得具有竞争力的准确率，尤其当预训练模型对分布外数据具有良好的泛化能力时；同时表明，数据特性（如任务相似性与表征质量）对持续学习性能的影响远超过算法设计本身。

ABSTRACT

Rapid development of large-scale pre-training has resulted in foundation models that can act as effective feature extractors on a variety of downstream tasks and domains. Motivated by this, we study the efficacy of pre-trained vision models as a foundation for downstream continual learning (CL) scenarios. Our goal is twofold. First, we want to understand the compute-accuracy trade-off between CL in the raw-data space and in the latent space of pre-trained encoders. Second, we investigate how the characteristics of the encoder, the pre-training algorithm and data, as well as of the resulting latent space affect CL performance. For this, we compare the efficacy of various pre-trained models in large-scale benchmarking scenarios with a vanilla replay setting applied in the latent and in the raw-data space. Notably, this study shows how transfer, forgetting, task similarity and learning are dependent on the input data characteristics and not necessarily on the CL algorithms. First, we show that under some circumstances reasonable CL performance can readily be achieved with a non-parametric classifier at negligible compute. We then show how models pre-trained on broader data result in better performance for various replay sizes. We explain this with representational similarity and transfer properties of these representations. Finally, we show the effectiveness of self-supervised pre-training for downstream domains that are out-of-distribution as compared to the pre-training domain. We point out and validate several research directions that can further increase the efficacy of latent CL including representation ensembling. The diverse set of datasets used in this study can serve as a compute-efficient playground for further CL research. The codebase is available under https://github.com/oleksost/latent_CL.

研究动机与目标

• 评估使用冻结主干模型的潜在经验回放（ER）在持续学习（CL）中的有效性，相较于在原始数据上进行端到端微调的性能表现。
• 研究主干模型的预训练数据、架构与算法如何影响潜在空间中下游CL的性能。
• 理解CL性能主要由CL算法设计驱动，还是由数据与表征特性主导。
• 评估表征质量、可迁移性以及分布内与分布外数据在决定CL成功中的作用。
• 识别可进一步提升潜在CL性能的实际配置与研究方向（如表征集成）。

提出的方法

• 采用大规模实证基准，涵盖26种不同架构、预训练目标（如对比学习、掩码自编码）和数据集的预训练视觉模型。
• 在原始输入空间（端到端微调）与潜在空间（潜在ER）中应用经验回放（ER），以比较计算-准确率权衡。
• 使用五种不同数据流，涵盖与预训练领域相似度各异的数据，包括分布内与分布外（OOD）设置。
• 采用标准指标评估CL性能：平均准确率、遗忘率以及最终任务的准确率。
• 分析表征属性，如表征相似性与可迁移性，以解释不同模型与数据流之间的性能差异。
• 在潜在空间中使用非参数分类器（如k-NN）测试是否可在计算成本极低的情况下实现性能提升。

实验结果

研究问题

• RQ1 在多样化数据流中，使用冻结主干模型的潜在ER与端到端微调在计算成本与准确率方面相比如何？
• RQ2 数据特性（如任务相似性、分布偏移与领域偏移）在多大程度上影响CL性能，且独立于CL算法设计？
• RQ3 主干模型的预训练数据、算法与架构在多大程度上影响潜在表征的质量，以支持持续学习？
• RQ4 在潜在空间中使用非参数分类器是否可在计算成本可忽略的情况下实现具有竞争力的CL性能？
• RQ5 表征集成在提升潜在CL性能方面发挥何种作用，且在何种设置下最为有效？

主要发现

• 使用冻结主干模型的潜在ER在大多数数据流中实现了与端到端微调相当或更优的最终准确率，且计算成本几乎低两个数量级。
• 在分布外（OOD）数据流中，端到端微调显著优于潜在ER，表明当数据分布与预训练分布发生显著偏移时，微调是必要的。
• 在更广泛、更多样化的数据上预训练的主干模型（如DINO、CLIP、ImageNet-21k）能生成更优的潜在表征，从而在所有回放规模下提升CL性能。
• 潜在特征的表征相似性与可迁移性是CL成功的重要预测因子，可解释为何某些模型即使在相同CL算法下也表现更优。
• 在潜在空间中使用非参数分类器（如k-NN）可实现强劲性能，且计算成本可忽略，表明无需参数更新即可有效缓解遗忘。
• 自监督预训练（如DINO、CLIP）可实现强大的零样本泛化能力，尤其在分布外领域中优于监督预训练。