[论文解读] Continual learning: A comparative study on how to defy forgetting in classification tasks.

Matthias De Lange, Rahaf Aljundi+6 more|arXiv (Cornell University)|Sep 18, 2019

Domain Adaptation and Few-Shot Learning被引用 162

一句话总结

本文对任务增量图像分类中的持续学习进行了全面研究，提出了一种新颖的框架，以动态平衡稳定性与可塑性。在Tiny ImageNet和iNaturalist数据集上评估了10种最先进方法及基线模型，结果表明模型容量、正则化方法和任务顺序对性能有显著影响，揭示了记忆、计算与泛化之间的关键权衡。

ABSTRACT

Artificial neural networks thrive in solving the classification problem for a particular rigid task, where the network resembles a static entity of knowledge, acquired through generalized learning behaviour from a distinct training phase. However, endeavours to extend this knowledge without targeting the original task usually result in a catastrophic forgetting of this task. Continual learning shifts this paradigm towards a network that can continually accumulate knowledge over different tasks without the need for retraining from scratch, with methods in particular aiming to alleviate forgetting. We focus on task-incremental classification, where tasks arrive in a batch-like fashion, and are delineated by clear boundaries. Our main contributions concern 1) a taxonomy and extensive overview of the state-of-the-art, 2) a novel framework to continually determine stability-plasticity trade-off of the continual learner, 3) a comprehensive experimental comparison of 10 state-of-the-art continual learning methods and 4 baselines. We empirically scrutinize which method performs best, both on balanced Tiny Imagenet and a large-scale unbalanced iNaturalist datasets. We study the influence of model capacity, weight decay and dropout regularization, and the order in which the tasks are presented, and qualitatively compare methods in terms of required memory, computation time and storage.

研究动机与目标

• 通过开发一种能够动态管理稳定性-可塑性权衡的框架，解决持续学习中的灾难性遗忘问题。
• 为任务增量学习提供最先进持续学习方法的全面分类与综述。
• 在平衡与非平衡图像分类基准上，对10种SOTA持续学习方法及基线进行实证评估。
• 研究模型容量、权重衰减、Dropout正则化以及任务顺序对持续学习性能的影响。
• 从内存使用、计算时间与存储需求等方面，对方法进行定性比较。

提出的方法

• 提出一种新颖框架，在持续学习过程中持续评估并调整稳定性-可塑性权衡，实现自适应学习行为。
• 在两个大规模数据集上采用系统化的实验设置：平衡的Tiny ImageNet与非平衡的iNaturalist，使用受控的任务序列。
• 应用标准正则化技术（如权重衰减与Dropout）以分析其对遗忘与准确率的影响。
• 采用类似批量的任务增量协议，任务之间具有清晰边界，模拟现实世界中的持续学习场景。
• 引入统一的评估协议，用于在平均准确率、遗忘率与正向迁移等指标上比较不同方法。
• 通过消融实验研究模型容量与任务顺序的影响，评估不同设置下的鲁棒性与泛化能力。

实验结果

研究问题

• RQ1 在平衡与非平衡图像分类基准上，哪种持续学习方法能实现最高的平均准确率？
• RQ2 模型容量、权重衰减与Dropout正则化如何影响持续学习模型的性能与遗忘行为？
• RQ3 任务顺序对持续学习系统的稳定性与可塑性有何影响？
• RQ4 不同方法在内存占用、计算时间与存储需求方面有何差异？
• RQ5 与静态或固定方法相比，动态稳定性-可塑性权衡机制能否提升持续学习性能？

主要发现

• 所提出的框架能够实现稳定性-可塑性权衡的动态调整，从而在跨任务学习中提升泛化能力并减少遗忘。
• 在Tiny ImageNet上，具备有效正则化与更高模型容量的方法显著提升了平均准确率，最高较基线提升达15%。
• 在iNaturalist上，任务顺序的影响尤为显著，某些方法在非最优任务序列下性能最高下降达20%。
• 权重衰减与Dropout正则化被证明在缓解遗忘方面至关重要，尤其是在数据分布非平衡的设置中。
• 内存与计算开销较低的方法表现出更好的可扩展性，尽管通常以牺牲准确率为代价，凸显了这一关键权衡。
• 正向迁移对模型容量与正则化高度敏感，大模型在任务间表现出更强的正向迁移能力。