[论文解读] Continual evaluation for lifelong learning: Identifying the stability gap

Matthias De Lange, Gido M. van de Ven+1 more|arXiv (Cornell University)|May 26, 2022

Domain Adaptation and Few-Shot Learning被引用 7

一句话总结

本文提出一种基于逐次迭代监控的持续评估方法，揭示了当前最先进持续学习方法在任务切换时存在的‘稳定性缺口’——一种短暂但严重的遗忘现象。尽管在学习新任务后性能能够恢复，但诸如经验回放、知识蒸馏和正则化等方法仍会出现临时性能下降，暴露出标准评估实践中的关键缺陷，并凸显了在安全关键应用中的风险。

ABSTRACT

Time-dependent data-generating distributions have proven to be difficult for gradient-based training of neural networks, as the greedy updates result in catastrophic forgetting of previously learned knowledge. Despite the progress in the field of continual learning to overcome this forgetting, we show that a set of common state-of-the-art methods still suffers from substantial forgetting upon starting to learn new tasks, except that this forgetting is temporary and followed by a phase of performance recovery. We refer to this intriguing but potentially problematic phenomenon as the stability gap. The stability gap had likely remained under the radar due to standard practice in the field of evaluating continual learning models only after each task. Instead, we establish a framework for continual evaluation that uses per-iteration evaluation and we define a new set of metrics to quantify worst-case performance. Empirically we show that experience replay, constraint-based replay, knowledge-distillation, and parameter regularization methods are all prone to the stability gap; and that the stability gap can be observed in class-, task-, and domain-incremental learning benchmarks. Additionally, a controlled experiment shows that the stability gap increases when tasks are more dissimilar. Finally, by disentangling gradients into plasticity and stability components, we propose a conceptual explanation for the stability gap.

研究动机与目标

• 识别持续学习中此前被忽视的现象：在任务切换期间出现的瞬时遗忘，称为‘稳定性缺口’。
• 挑战仅在每个任务结束后评估持续学习模型的常规做法，该做法会掩盖关键的性能下降。
• 提出一种新的评估框架，通过逐次迭代监控检测最坏情况下的性能退化。
• 利用新型指标（如 min-ACC 和 WC-ACC）量化稳定性缺口。
• 研究任务相似性对稳定性缺口幅度的影响。

提出的方法

• 提出一种持续评估框架，在每次参数更新后评估模型，而非仅在每个任务结束后。
• 引入新指标：最小准确率（min-ACC）和最坏情况准确率（WC-ACC），以捕捉训练过程中的最低性能表现。
• 采用梯度解耦技术，将梯度分解为可塑性与稳定性分量，以概念性地解释稳定性缺口。
• 分析稳定性分量的梯度范数（如 ∇L_stability）在 ER、GEM、EWC、SI 和 LwF 等方法中的表现。
• 通过控制实验，改变任务相似性，评估其对稳定性缺口的影响。
• 通过消融研究验证，只有在高频评估下才能检测到稳定性缺口。

实验结果

研究问题

• RQ1 为何最先进持续学习方法在任务切换时会出现显著的瞬时遗忘，尽管最终性能能够恢复？
• RQ2 为何标准的任务级评估无法检测到学习过程中的关键性能下降？
• RQ3 连续任务之间的相似性在多大程度上影响稳定性缺口的大小？
• RQ4 能否通过将梯度概念性地分解为可塑性与稳定性分量来解释稳定性缺口？
• RQ5 稳定性缺口对安全关键应用及对抗性数据流操纵具有何种实际影响？

主要发现

• 稳定性缺口在多种方法中普遍存在：经验回放、基于约束的回放（GEM）、知识蒸馏（LwF）以及参数正则化（EWC、SI）。
• 该现象在各类基准测试中一致出现，包括分类增量、任务增量和领域增量学习，如 Split-MNIST、Split-CIFAR10 和 Mini-DomainNet。
• 当连续任务差异越大时，稳定性缺口显著加剧，Split-CIFAR10 上任务相似性与缺口严重程度之间存在负相关性（ρ = -0.37）。
• 逐次迭代评估是检测稳定性缺口的必要条件；标准的任务级评估无法揭示该现象，解释了其长期被忽视的原因。
• 梯度分析表明，稳定性梯度在任务切换期间降至接近零，随后迅速恢复，支持了概念性解释。
• 最坏情况准确率（WC-ACC）和 min-ACC 指标显示，即使最终准确率得以恢复，新任务学习后，对早期任务的性能仍可能骤降至接近零。