[论文解读] Online Continual Learning Without the Storage Constraint

Ameya Prabhu, Zhipeng Cai+4 more|arXiv (Cornell University)|May 16, 2023

Domain Adaptation and Few-Shot Learning被引用 5

一句话总结

本论文提出了一种计算高效、无存储限制的在线持续学习方法，采用固定预训练特征提取器的近似kNN分类器。通过利用kNN即时适应新数据并保留所有历史样本而不会遗忘的能力，该方法在大规模基准测试CLOC（3900万张图像，712个类别）和CGLM（58万张图像，10,788个类别）上实现了比当前最先进方法高出20%以上的准确率，同时显著降低了计算和存储成本。

ABSTRACT

Traditional online continual learning (OCL) research has primarily focused on mitigating catastrophic forgetting with fixed and limited storage allocation throughout an agent's lifetime. However, a broad range of real-world applications are primarily constrained by computational costs rather than storage limitations. In this paper, we target such applications, investigating the online continual learning problem under relaxed storage constraints and limited computational budgets. We contribute a simple algorithm, which updates a kNN classifier continually along with a fixed, pretrained feature extractor. We selected this algorithm due to its exceptional suitability for online continual learning. It can adapt to rapidly changing streams, has zero stability gap, operates within tiny computational budgets, has low storage requirements by only storing features, and has a consistency property: It never forgets previously seen data. These attributes yield significant improvements, allowing our proposed algorithm to outperform existing methods by over 20% in accuracy on two large-scale OCL datasets: Continual LOCalization (CLOC) with 39M images and 712 classes and Continual Google Landmarks V2 (CGLM) with 580K images and 10,788 classes, even when existing methods retain all previously seen images. Furthermore, we achieve this superior performance with considerably reduced computational and storage expenses. We provide code to reproduce our results at github.com/drimpossible/ACM.

研究动机与目标

• 解决在线持续学习研究中过度关注存储限制而非计算预算的问题，后者才是现实系统中的主要瓶颈。
• 探究当存储不再是限制因素时，大规模在线持续学习在计算受限环境下的可行性。
• 开发一种实用、可扩展且高效的持续学习系统，实现高准确率、快速适应和完美记忆保留。
• 证明仅使用固定预训练特征提取器的简单kNN分类器，可在大规模、长尾分布和概念漂移的数据集上超越复杂的基于梯度的方法。
• 展示即使在数十年持续数据流的长期部署场景下，计算效率和实时推理依然可实现，使该方法具备长期部署的可行性。

提出的方法

• 使用近似kNN分类器（ACM），存储所有历史特征和标签，实现零遗忘并即时适应新数据。
• 集成一个固定、预训练的深度神经网络（如ResNet50）作为特征提取器，避免微调或重新训练主干网络。
• 利用近似kNN算法（如FAISS）的对数时间复杂度特性，在存储海量数据的同时保持低推理开销。
• 通过显式插入和检索操作，对每个新样本增量式更新kNN模型，实现逐样本适应。
• 依靠kNN固有特性确保一致性与稳定性：无稳定性差距、无遗忘，且计算复杂度呈对数增长。
• 在真实计算预算下评估系统，通过墙钟时间测量验证其在大规模数据流上的实时可行性。

Figure 1 : Adaptive Continual Memory (ACM) performs Memory.Retrieve and Memory.Insert on new incoming samples, extracted by a fixed, pretrained deep network.

实验结果

研究问题

• RQ1 当存储不再成为限制时，若计算成本成为主要瓶颈，能否显著提升在线持续学习的性能？
• RQ2 在大规模、长尾分布和概念漂移的数据集上，仅使用固定特征提取器的简单kNN分类器，其性能相较于复杂的基于梯度的持续学习方法能提升多少？
• RQ3 维护完整数据存储的计算开销如何随数据集规模增长？是否能支持长期部署下的实时推理？
• RQ4 基于kNN的方法是否能实现对分布变化和单样本学习的快速适应？这在现实世界持续学习中至关重要。
• RQ5 在相同计算预算下，一种存储全部数据且永不遗忘的系统，其性能是否仍优于其他保留全部历史数据的方法？

主要发现

• 所提出的ACM方法在CLOC（3900万张图像，712个类别）和CGLM（58万张图像，10,788个类别）基准上，即使在对比方法存储全部历史数据的情况下，准确率仍比现有SOTA方法高出20%以上。
• 对于256维特征，该方法每样本最大推理开销仅为5毫秒，16核CPU上的总推理成本约为15毫秒/样本，兼容30 FPS实时视频处理。
• 系统可在单台16核CPU服务器上持续运行长达71年，年存储成本仅约20美元，充分证明其长期实用性。
• 消融实验表明，若移除kNN分类器，性能下降10%至30%，证实kNN是实现快速适应和高准确率的主要驱动力。
• 该方法在不同主干网络架构上均保持一致性能，表明kNN的优势具有鲁棒性，不依赖于特定特征提取器。
• 系统实现完美记忆保留：先前见过的数据从未被遗忘，重新查询可返回相同标签，确保结果一致性和稳定性。

Figure 2 : Online Continual Learning Performance. We observe that ACM outperforms existing methods by a large margin despite being far cheaper computationally. Traditional methods perform poorly given unrestricted access to past seen data indicating continual learning is a hard problem even without