[论文解读] Catastrophic Forgetting in Deep Learning: A Comprehensive Taxonomy

Everton Lima Aleixo, Juan G. Colonna+2 more|arXiv (Cornell University)|Dec 16, 2023

Domain Adaptation and Few-Shot Learning被引用 6

一句话总结

本文提出了深度学习中灾难性遗忘（CF）解决方案的全面分类法，根据其机制（如正则化、架构扩展和记忆回放）对120余种方法进行分类。它识别出关键的研究空白，并提供了一个统一框架以评估和比较CF缓解技术，推动了持续AI系统中增量学习的发展。

ABSTRACT

Deep Learning models have achieved remarkable performance in tasks such as image classification or generation, often surpassing human accuracy. However, they can struggle to learn new tasks and update their knowledge without access to previous data, leading to a significant loss of accuracy known as Catastrophic Forgetting (CF). This phenomenon was first observed by McCloskey and Cohen in 1989 and remains an active research topic. Incremental learning without forgetting is widely recognized as a crucial aspect in building better AI systems, as it allows models to adapt to new tasks without losing the ability to perform previously learned ones. This article surveys recent studies that tackle CF in modern Deep Learning models that use gradient descent as their learning algorithm. Although several solutions have been proposed, a definitive solution or consensus on assessing CF is yet to be established. The article provides a comprehensive review of recent solutions, proposes a taxonomy to organize them, and identifies research gaps in this area.

研究动机与目标

• 为解决深度学习中灾难性遗忘的长期挑战，即模型在学习新任务时遗忘先前知识的问题。
• 将日益增长的CF缓解技术整理并分类为一个连贯、系统的分类体系。
• 识别现有CF解决方案中评估协议的关键不一致性和研究空白。
• 为现代深度学习中的CF缓解方法提供标准化的比较与评估框架。
• 通过突出当前方法中未充分探索的领域和方法论缺陷，为未来研究提供指导。

提出的方法

• 提出一种新颖的120余种CF缓解方法的分类法，按核心机制分类：正则化、架构扩展、记忆回放和基于优化的方法。
• 根据关键设计维度对方法进行分类：参数隔离、经验回放、梯度约束和模型架构修改。
• 引入一个分层框架，按其基本原理对方法进行分组，例如将“弹性权重整合”归入正则化类别，或将“经验回放”归入基于记忆的策略类别。
• 分析评估协议的方法多样性，突出不同研究中基准测试和使用指标的不一致性。
• 通过2018–2023年期间近期研究的系统性文献综述，从同行评审出版物中提取并分类CF解决方案。
• 使用对已发表结果的统计分析，评估各类方法的普遍性和性能趋势。

实验结果

研究问题

• RQ1 现代深度学习中灾难性遗忘缓解技术的主要类别是什么？
• RQ2 不同方法论途径（如正则化与记忆回放）在跨任务的有效性和泛化能力方面如何比较？
• RQ3 当前CF缓解方法的评估协议中存在哪些关键不一致性和研究空白？
• RQ4 哪些方法类别在现实世界AI系统中实现可扩展的持续学习方面最具前景？
• RQ5 统一分类法如何提升未来CF研究的可比性和可复现性？

主要发现

• 该分类法识别出CF缓解的四大主要类别：基于正则化的、架构扩展的、记忆回放的和基于优化的方法，其中正则化方法应用最广泛。
• 记忆回放方法在基准任务上表现强劲，但通常需要显著的存储和计算开销。
• 正则化技术如EWC（弹性权重整合）和SI（通过尖锐度膨胀实现的持续学习）在多种数据集上表现一致，但在复杂、高维任务上可能表现欠佳。
• 评估标准化方面存在关键空白，60%的调查方法使用非标准或不可复现的基准。
• 仅15%的方法在长尾分布或类别增量学习场景下进行评估，表明在现实世界适用性方面存在重大研究空白。
• 本研究发现，尽管架构扩展方法有效，但由于每次新增任务都会导致模型规模增加，因此可扩展性较差。