[论文解读] A Comprehensive Survey of Forgetting in Deep Learning Beyond Continual Learning

Zhenyi Wang, Enneng Yang+2 more|arXiv (Cornell University)|Jul 16, 2023

Domain Adaptation and Few-Shot Learning被引用 7

一句话总结

本综述将深度学习中的遗忘重新定义为一种双刃现象——既具破坏性也具建设性，超越持续学习的语境。它系统地对联邦学习、生成模型和基础模型等领域的遗忘进行分类，倡导通过有意识的遗忘来缓解过拟合、减少偏差并增强隐私保护，同时以理论和跨学科洞见指导未来研究。

ABSTRACT

Forgetting refers to the loss or deterioration of previously acquired knowledge. While existing surveys on forgetting have primarily focused on continual learning, forgetting is a prevalent phenomenon observed in various other research domains within deep learning. Forgetting manifests in research fields such as generative models due to generator shifts, and federated learning due to heterogeneous data distributions across clients. Addressing forgetting encompasses several challenges, including balancing the retention of old task knowledge with fast learning of new task, managing task interference with conflicting goals, and preventing privacy leakage, etc. Moreover, most existing surveys on continual learning implicitly assume that forgetting is always harmful. In contrast, our survey argues that forgetting is a double-edged sword and can be beneficial and desirable in certain cases, such as privacy-preserving scenarios. By exploring forgetting in a broader context, we present a more nuanced understanding of this phenomenon and highlight its potential advantages. Through this comprehensive survey, we aspire to uncover potential solutions by drawing upon ideas and approaches from various fields that have dealt with forgetting. By examining forgetting beyond its conventional boundaries, we hope to encourage the development of novel strategies for mitigating, harnessing, or even embracing forgetting in real applications. A comprehensive list of papers about forgetting in various research fields is available at \url{https://github.com/EnnengYang/Awesome-Forgetting-in-Deep-Learning}.

研究动机与目标

• 提供对深度学习中遗忘的全面理解，超越持续学习范畴，挑战遗忘总是有害的假设。
• 根据应用背景将遗忘分类为有害与有益两类，突出遗忘可提升模型性能或隐私保护的情境。
• 识别并分析在联邦学习、生成模型和基础模型等多样化机器学习领域中的遗忘机制。
• 倡导将有意识的遗忘作为缓解过拟合、减少偏差以及实现机器遗忘以保护隐私的战略工具。
• 通过整合各领域见解，推动跨学科研究与理论分析，以促进遗忘感知的模型设计发展。

提出的方法

• 提出遗忘的双重分类：有害（当知识保留为所求时）与有益（当选择性遗忘可提升性能或隐私时）。
• 分析十种机器学习领域的遗忘现象，包括持续学习、联邦学习、生成模型和强化学习，识别出数据分布漂移和模型平均等不同成因。
• 提出一个框架，理解遗忘如何源于不同来源——例如预训练中的分布漂移、生成对抗网络（GANs）中的生成器漂移，以及联邦学习中的非独立同分布（non-i.i.i.d.）数据。
• 回顾现有遗忘管理技术，包括正则化、记忆回放和模型编辑，强调其在不同领域的适用性。
• 强调基础模型在实现可迁移遗忘解决方案中的作用，并探讨其统一不同任务遗忘机制的潜力。
• 通过借鉴元学习和测试时适应等领域的类比与技术，推动跨学科研究，以应对新情境下的遗忘问题。

实验结果

研究问题

• RQ1 在机器学习系统中，遗忘如何可能具有建设性而非纯粹破坏性？
• RQ2 遗忘在联邦学习、生成建模和强化学习等不同学习范式中如何表现不同？
• RQ3 基础模型中的遗忘根本原因是什么？它们与持续学习中的原因有何不同？
• RQ4 如何利用有意识的遗忘来改善模型泛化能力、减少偏差并保护数据隐私？
• RQ5 需要哪些理论基础才能严格理解并控制不同学习环境中遗忘现象？

主要发现

• 遗忘并非总是有害；在隐私敏感的应用中，选择性遗忘训练数据可防止成员推断攻击，保护用户隐私。
• 有益的遗忘通过舍弃无关或噪声较大的训练样本，减轻过拟合，从而提升模型泛化能力和学习效率。
• 在联邦学习中，数据异质性和非独立同分布（non-i.i.i.d.）的数据分布会导致模型遗忘，尤其体现在客户端层面的数据漂移和模型平均过程中。
• 在生成模型中，训练期间的生成器漂移可能导致对先前学习到的数据分布的遗忘，影响模式覆盖度和样本质量。
• 基础模型在微调过程中会出现遗忘现象，其中预训练知识可能因下游任务中的分布漂移而退化。
• 在机器遗忘中实施有意识的遗忘可有效清除特定训练数据的痕迹，减少隐私泄露，同时保持模型在剩余数据上的性能。