[论文解读] Rainbow Memory: Continual Learning with a Memory of Diverse Samples

Jihwan Bang, Heesu Kim+3 more|arXiv (Cornell University)|Mar 31, 2021

Domain Adaptation and Few-Shot Learning参考文献 48被引用 18

一句话总结

本文提出Rainbow Memory（RM），一种新颖的持续学习方法，通过不确定性感知采样与数据增强提升回忆记忆的多样性，在CIFAR10、CIFAR100和ImageNet上的模糊类增量学习（blurry class-incremental learning）任务中显著优于当前最先进方法，性能提升最高达10.5%。

ABSTRACT

Continual learning is a realistic learning scenario for AI models. Prevalent scenario of continual learning, however, assumes disjoint sets of classes as tasks and is less realistic rather artificial. Instead, we focus on 'blurry' task boundary; where tasks shares classes and is more realistic and practical. To address such task, we argue the importance of diversity of samples in an episodic memory. To enhance the sample diversity in the memory, we propose a novel memory management strategy based on per-sample classification uncertainty and data augmentation, named Rainbow Memory (RM). With extensive empirical validations on MNIST, CIFAR10, CIFAR100, and ImageNet datasets, we show that the proposed method significantly improves the accuracy in blurry continual learning setups, outperforming state of the arts by large margins despite its simplicity. Code and data splits will be available in https://github.com/clovaai/rainbow-memory.

研究动机与目标

• 解决现实但研究不足的模糊类增量学习（blurry-CIL）设置，其中任务间共享类别，而非人为设计的不相交-CIL设置。
• 通过提升存储样本的代表性与多样性，在记忆容量有限的条件下缓解灾难性遗忘。
• 设计一种记忆管理策略，利用样本分类不确定性选择信息量丰富、多样化的样本，以平衡鲁棒与脆弱数据。
• 探究数据增强，特别是标签混合技术（如CutMix和AutoAug）在提升记忆多样性与模型泛化能力方面的影响。
• 证明所提方法不仅适用于模糊-CIL，还能在不相交-CIL和离线学习设置中实现优异泛化性能。

提出的方法

• 提出一种基于扰动的不确定性度量方法，用于评估每个样本的鲁棒性：通过数据增强对样本施加扰动，并利用蒙特卡洛丢弃法对扰动后的预测结果进行不确定性估计。
• 在贝叶斯框架中，将不确定性倒数（即鲁棒性）作为似然函数，指导记忆采样，优先选择鲁棒与脆弱样本以增强多样性。
• 实施一种记忆更新策略，用新采样的、按不确定性排序的样本替换旧的原型样本，确保记忆持续代表过往类别。
• 应用多样化的数据增强技术（包括CutMix、AutoAug以及标准增强方法，如颜色抖动、翻转等）对存储在情景记忆中的样本进行增强。
• 结合不确定性采样与数据增强，构建双重机制以提升记忆多样性与模型泛化能力。
• 采用固定记忆容量约束，确保在真实持续学习场景中具备可扩展性与实用性。

实验结果

研究问题

• RQ1 与随机或基于原型的记忆选择相比，基于不确定性的采样在模糊-CIL中如何提升记忆多样性与模型性能？
• RQ2 数据增强，特别是CutMix等标签混合方法，在多大程度上提升了情景记忆中样本的代表性与判别性？
• RQ3 为模糊-CIL设计的记忆管理策略能否有效泛化至不相交-CIL与离线学习设置？
• RQ4 不同不确定性估计方法（如No_MC、RandAug_MC、AutoAug_MC）对记忆更新机制性能有何影响？
• RQ5 不确定性采样与数据增强在提升持续学习准确率方面，各自的相对贡献如何？

主要发现

• 在CIFAR10-Blurry10-Online（K=1000）上，Rainbow Memory达到76.1%的准确率，优于次佳基线4.6个百分点。
• 在CIFAR100-Blurry10-Online上，RM准确率达到69.6%，较之前SOTA方法提升10.5%，在相同设置下表现优异。
• 在不相交-CIL设置中，RM在CIFAR10-Disjoint10上达到71.1%的准确率，与专用SOTA方法相当。
• 数据增强，尤其是CutMix + AutoAug组合，使RM性能最高提升12.5%（相比无增强），在高复杂度设置中增益最大。
• 基于RandAug的蒙特卡洛不确定性估计方法表现最佳，相比非蒙特卡洛方法在CIFAR10-Blurry10-Online上提升2.7%准确率。
• 消融实验表明，不确定性采样与数据增强均不可或缺：任一移除均导致平均性能下降超过10%。