[论文解读] Three scenarios for continual learning

Gido M. van de Ven, Andreas S. Tolias|Lirias (KU Leuven)|Apr 15, 2019

Domain Adaptation and Few-Shot Learning参考文献 27被引用 556

一句话总结

论文根据测试时任务身份是否提供及是否需要推断，定义了三种持续学习情景，并在这些情景下使用 split 和 permuted MNIST 进行广泛的经验比较。

ABSTRACT

Standard artificial neural networks suffer from the well-known issue of catastrophic forgetting, making continual or lifelong learning difficult for machine learning. In recent years, numerous methods have been proposed for continual learning, but due to differences in evaluation protocols it is difficult to directly compare their performance. To enable more structured comparisons, we describe three continual learning scenarios based on whether at test time task identity is provided and--in case it is not--whether it must be inferred. Any sequence of well-defined tasks can be performed according to each scenario. Using the split and permuted MNIST task protocols, for each scenario we carry out an extensive comparison of recently proposed continual learning methods. We demonstrate substantial differences between the three scenarios in terms of difficulty and in terms of how efficient different methods are. In particular, when task identity must be inferred (i.e., class incremental learning), we find that regularization-based approaches (e.g., elastic weight consolidation) fail and that replaying representations of previous experiences seems required for solving this scenario.

研究动机与目标

• 通过澄清测试时任务身份如何影响难度，推动标准化的持续学习评估。
• 引入三种难度递增的持续学习情景（Task-IL、Domain-IL、Class-IL）。
• 提供在这些情景下对有代表性的持续学习方法的全面经验比较。
• 表明当必须推断任务身份时，回放式方法至关重要（Class-IL）。

提出的方法

• 基于测试时任务身份的可用性和推断要求，定义三种情景。
• 在每种情景下比较多种持续学习方法（XdG、EWC、Online EWC、SI、LwF、DGR、DGR+distill、iCaRL）。
• 使用单一一致的网络结构（split MNIST 为 2 个隐藏层，split/permuted MNIST 为 2 个隐藏层，单元数为 400/1000）以及 per 情景的任务特定或共享输出配置。
• 使用具有明确定义任务边界的 split MNIST 和 permuted MNIST 任务协议。
• 在标准化的训练设置下评估性能（Adam 优化器、指定迭代、内存预算）并报告20 个 seeds 的均值 ± SEM。

实验结果

研究问题

• RQ1 在评估常见方法时，三种持续学习情景在难度上有何差异？
• RQ2 当必须推断任务身份时，正则化方法是否足够，还是回放策略提供必要的能力？
• RQ3 在 split MNIST（两任务）和 permuted MNIST（十任务）协议下，各情景的性能差异如何？
• RQ4 任务边界和回放机制是否能够在多样的任务序列中实现可扩展的持续学习？

主要发现

• Task-IL 是最容易的情景；当测试时任务身份被提供时，大多数方法表现良好。
• Domain-IL 和 Class-IL 要大得多地困难；正则化方法（EWC、Online EWC、SI）在 Class-IL 中表现困难甚至失败。
• 回放式方法（LwF、DGR、DGR+distill、iCaRL）在 Domain-IL 和 Class-IL 中取得强劲表现，在 split MNIST 任务上常常超过 90% 的准确率。
• LwF 在 split MNIST 上可能有效，但在 permuted MNIST 上由于输入分布差异可能表现不佳；生成性回放（DGR）和蒸馏变体通常在各情景下提供稳健表现。
• iCaRL 在有示例时展现出强大性能，说明在持续学习中示例回放的价值。
• 在各任务中，当需要推断任务身份时，回放式方法持续超过仅正则化策略。