[论文解读] A simple but strong baseline for online continual learning: Repeated Augmented Rehearsal

Yaqian Zhang, Bernhard Pfahringer+4 more|arXiv (Cornell University)|Sep 28, 2022

Domain Adaptation and Few-Shot Learning被引用 13

一句话总结

本文提出重复增强回放（RAR），这是一种简单而有效的在线持续学习基线方法，通过结合对记忆样本的重复训练与数据增强，缓解灾难性遗忘。RAR在四个在线持续学习（OCL）基准上显著提升性能——相比基线回放方法提升9–17%，并优于最先进的方法如MIR、ASER和SCR，同时能够准确近似过去数据的损失曲面，避免高损失脊线。

ABSTRACT

Online continual learning (OCL) aims to train neural networks incrementally from a non-stationary data stream with a single pass through data. Rehearsal-based methods attempt to approximate the observed input distributions over time with a small memory and revisit them later to avoid forgetting. Despite its strong empirical performance, rehearsal methods still suffer from a poor approximation of the loss landscape of past data with memory samples. This paper revisits the rehearsal dynamics in online settings. We provide theoretical insights on the inherent memory overfitting risk from the viewpoint of biased and dynamic empirical risk minimization, and examine the merits and limits of repeated rehearsal. Inspired by our analysis, a simple and intuitive baseline, Repeated Augmented Rehearsal (RAR), is designed to address the underfitting-overfitting dilemma of online rehearsal. Surprisingly, across four rather different OCL benchmarks, this simple baseline outperforms vanilla rehearsal by 9%-17% and also significantly improves state-of-the-art rehearsal-based methods MIR, ASER, and SCR. We also demonstrate that RAR successfully achieves an accurate approximation of the loss landscape of past data and high-loss ridge aversion in its learning trajectory. Extensive ablation studies are conducted to study the interplay between repeated and augmented rehearsal and reinforcement learning (RL) is applied to dynamically adjust the hyperparameters of RAR to balance the stability-plasticity trade-off online. Code is available at https://github.com/YaqianZhang/RepeatedAugmentedRehearsal

研究动机与目标

• 为解决在线持续学习中因回放方法在记忆样本上过拟合而无法泛化到过去任务所导致的欠拟合-过拟合困境。
• 探究现有基于回放的方法在近似过去数据真实损失曲面时的局限性，特别是在高损失脊线附近的表现。
• 设计一种简单而有效的基线方法，在无需复杂网络结构修改或超参数调优的前提下提升回放性能。
• 通过实证验证，重复且增强的回放可提升在线持续学习设置下的泛化能力与稳定性。

提出的方法

• 提出重复增强回放（RAR），对记忆样本进行重复前向传播，同时对记忆样本和新输入批次均应用数据增强。
• 引入双重正则化机制：重复训练稳定过去数据的学习过程，而数据增强则提升记忆样本的多样性与泛化能力。
• 采用强化学习在线动态调整回放迭代次数与增强强度，实现稳定性和可塑性之间的平衡。
• 通过消融实验分析重复回放与增强回放之间的相互作用，识别各数据集下的最优配置。
• 利用损失曲面可视化评估RAR在多大程度上近似过去任务的真实损失曲面，尤其关注是否避免了高损失脊线。
• 通过理论分析将记忆过拟合建模为有偏且动态的期望风险最小化问题，将其与任务与记忆大小比值λ相关联。

实验结果

研究问题

• RQ1 在在线持续学习中，重复回放与数据增强如何协同缓解灾难性遗忘？
• RQ2 回放迭代次数与增强强度对模型性能与泛化能力的影响如何？
• RQ3 一种结合重复与增强回放的简单基线方法能否超越复杂的最先进回放方法？
• RQ4 RAR是否能改善对过去数据真实损失曲面的近似，特别是避免高损失脊线？
• RQ5 强化学习能否有效在线调整RAR的超参数，以在数据流设置中实现稳定性和可塑性的平衡？

主要发现

• 在四个OCL基准（包括CIFAR100、MiniImageNet、CLRS和CORE50）上，RAR相较基线回放方法性能提升9–17%。
• RAR显著优于最先进的基于回放的方法（如MIR、ASER和SCR），在多样化设置中展现出广泛有效性。
• 该方法成功避免了过去任务损失曲面中的高损失脊线，表明其泛化能力更强且学习更稳定。
• 消融实验表明，单独使用重复回放或增强回放均无法持续带来收益；两者结合才是性能提升的关键。
• RAR在高达20次回放迭代时仍保持稳定性能，而标准重复回放因记忆过拟合导致性能下降。
• 对记忆样本和新输入批次均应用增强可获得最佳效果，即使仅对新输入批次增强（RAR-inc）也能在CORE50上实现7.7%的性能提升。