[论文解读] Learning Fast, Learning Slow: A General Continual Learning Method based on Complementary Learning System

Elahe Arani, Fahad Sarfraz+1 more|arXiv (Cornell University)|Jan 29, 2022

Memory Processes and Influences被引用 37

一句话总结

CLS-ER 是一种受大脑互补学习系统启发的双记忆体验回放方法，在没有任务边界或强数据分布假设的情况下实现了最先进的持续学习性能。

ABSTRACT

Humans excel at continually learning from an ever-changing environment whereas it remains a challenge for deep neural networks which exhibit catastrophic forgetting. The complementary learning system (CLS) theory suggests that the interplay between rapid instance-based learning and slow structured learning in the brain is crucial for accumulating and retaining knowledge. Here, we propose CLS-ER, a novel dual memory experience replay (ER) method which maintains short-term and long-term semantic memories that interact with the episodic memory. Our method employs an effective replay mechanism whereby new knowledge is acquired while aligning the decision boundaries with the semantic memories. CLS-ER does not utilize the task boundaries or make any assumption about the distribution of the data which makes it versatile and suited for "general continual learning". Our approach achieves state-of-the-art performance on standard benchmarks as well as more realistic general continual learning settings.

研究动机与目标

• 通过解决非平稳数据流中的灾难性遗忘来激发持续学习。
• 通过双语义记忆整合快速（类似海马体）和慢速（类似新皮质）学习。
• 开发一个通用的基于回放的框架，不依赖任务边界或强分布假设。
• 在回放过程中通过让工作模型与语义记忆对齐来巩固跨任务的知识。

提出的方法

• 引入 CLS-ER，具备三种记忆：episodic（缓冲样本）、long-term semantic（稳定 EMA 权重）以及 short-term semantic（可塑 EMA 权重）。
• 通过以不同速率更新可塑模型和稳定模型（rP > rS）并设定衰减参数（αP，αS），维持两个基于 EMA 的语义记忆。
• 使用水库抽样来管理固定的 episodic 记忆，确保缓冲区随时间匹配数据流分布。
• 在训练期间，根据哪个模型对真实类别给出更高似然度来选择来自语义记忆的回放 logits，除了标准交叉熵外，还强制执行一致性损失。
• 通过最小化当前样本与记忆样本的交叉熵以及与所选语义 logits 的均方误差一致性损失的组合来更新工作模型。
• 使用稳定模型进行推理，以强调长期知识与泛化。

实验结果

研究问题

• RQ1 在不依赖任务边界的情况下，具备快速与慢速语义记忆的双记忆系统是否能提升持续学习中的知识巩固？
• RQ2 将工作模型的决策边界与语义记忆对齐是否能在跨任务中获得更好的保留和更平滑的适应？
• RQ3 基于 EMA 的语义记忆（短期与长期）在多样化的 CL 设置下的通用增量学习中是否有效？
• RQ4 基于水库的 episodic 记忆结合一致性损失是否在 Class-IL、Domain-IL 和 General Incremental Learning 场景中优于传统回放基线？

主要发现

• CLS-ER 在包括 Class-IL、Domain-IL 和 GCIL 在内的多项持续学习基准和设置中实现了最先进的性能。
• 使用具有 EMA 更新的双语义记忆（短期/可塑和长期/稳定）可以改善巩固并相对于 ER、DER++ 和 GEM 等基线减少遗忘。
• CLS-ER 展现出收敛到更平坦的极小值以及更好的校准，表明对扰动更鲁棒且不确定性估计更可靠。
• 该方法对内存预算变化具有鲁棒性，并在类似在线 CL 的设置中表现出强劲性能（例如基于 MNIST 的 GCIL）。
• 经验分析显示 CLS-ER 能缓解最近任务偏差，并在序列中产生更均匀的任务概率分布。