[论文解读] Batch-level Experience Replay with Review for Continual Learning

Zheda Mai, Hyunwoo Kim+2 more|arXiv (Cornell University)|Jul 11, 2020

Domain Adaptation and Few-Shot Learning参考文献 17被引用 15

一句话总结

本文提出了一种基于记忆的持续学习方法——批次级经验回放与回顾（BER-R），通过在批次级别更新时检索并回放经验，并在测试前执行最终回顾步骤，从而提升模型的稳定性和可塑性。该方法在CVPR 2020 CLVision挑战赛的CORe50数据集上三个场景中均取得SOTA性能，获得第一名。

ABSTRACT

Continual learning is a branch of deep learning that seeks to strike a balance between learning stability and plasticity. The CVPR 2020 CLVision Continual Learning for Computer Vision challenge is dedicated to evaluating and advancing the current state-of-the-art continual learning methods using the CORe50 dataset with three different continual learning scenarios. This paper presents our approach, called Batch-level Experience Replay with Review, to this challenge. Our team achieved the 1'st place in all three scenarios out of 79 participated teams. The codebase of our implementation is publicly available at https://github.com/RaptorMai/CVPR20_CLVision_challenge

研究动机与目标

• 通过提升经验回放效率和知识保留能力，缓解持续学习中的灾难性遗忘问题。
• 通过批量处理记忆检索和更新操作，降低传统经验回放的计算开销。
• 通过在评估前执行最终回顾步骤，强化先前任务的知识，从而提升模型性能。
• 采用统一且可扩展的方法，在多种持续学习场景中实现高准确率和低遗忘率。
• 在严格的资源和准确率约束下，超越现有方法在CORe50基准上的表现。

提出的方法

• 该方法仅在新数据批次到达时才执行记忆检索和缓冲区更新，相比逐小批量回放，显著减少了检索和更新操作的次数。
• 使用记忆缓冲区存储过去数据的子集，并在训练过程中回放，以缓解灾难性遗忘。
• 在训练结束后应用最终回顾步骤，模型会重新在所有先前见过的数据上进行微调，以强化知识并提升泛化能力。
• 该方法结合了数据增强技术，包括空间变换和像素级变换，以提升模型泛化能力。
• 采用特征提取器（DenseNet161）搭配任务特定的分类头，并使用冻结策略以在多任务场景中稳定学习。
• 该方法统一应用于三种持续学习场景：新实例（New Instances）、多任务新类别（Multi-Task New Classes）以及新实例与新类别（New Instances and Classes）。

实验结果

研究问题

• RQ1 批次级经验回放是否能在保持或提升性能的同时，降低记忆检索与更新的计算成本？
• RQ2 训练后的最终回顾步骤是否能显著提升测试准确率，且不增加推理时间？
• RQ3 该方法在应对持续学习中多样的数据分布偏移时，对缓解灾难性遗忘的效率如何？
• RQ4 统一方法是否能在任务和类别变化模式各异的多个持续学习场景中均实现顶尖性能？
• RQ5 在资源受限条件下，数据增强与模型微调策略在提升持续学习泛化能力方面的作用有多大？

主要发现

• 在新实例（NI）场景中，BER-R_preproc达到96.7%的最终验证准确率和90.1%的平均验证准确率，显著优于基线的81.1%和71.1%。
• 在多任务新类别（Multi-Task-NC）场景中，独立模型配合预处理（Ind_model_preproc）达到99.3%的最终准确率和55.1%的平均准确率，远超基线的12.8%和14.0%。
• 在新实例与新类别（NIC）场景中，BER-R_preproc达到96.0%的最终准确率和59.4%的平均准确率，而基线在两项指标上均为0.02%。
• 最终回顾步骤使NI场景的最终准确率提升了1.1%，但未改善平均准确率，因为该步骤仅在训练后执行。
• 数据预处理与增强技术对性能提升贡献显著，尤其在NI和NIC场景中表现突出。
• 该方法在CVPR 2020 CLVision挑战赛中，79支参赛队伍参与的三个场景中均获得第一名。