[论文解读] Fortuitous Forgetting in Connectionist Networks

Hattie Zhou, Ankit Vani+2 more|arXiv (Cornell University)|Feb 1, 2022

Domain Adaptation and Few-Shot Learning被引用 5

一句话总结

本文提出了遗忘与重学范式，其中神经网络中的选择性遗忘通过去除不良信息并借助迭代重训强化有用特征，从而提升泛化能力。作者表明，图像分类和语言涌现任务中许多成功的迭代训练算法均属于该框架的实例，并证明有针对性的遗忘可通过引导模型走向可泛化的表征来提升性能。

ABSTRACT

Forgetting is often seen as an unwanted characteristic in both human and machine learning. However, we propose that forgetting can in fact be favorable to learning. We introduce "forget-and-relearn" as a powerful paradigm for shaping the learning trajectories of artificial neural networks. In this process, the forgetting step selectively removes undesirable information from the model, and the relearning step reinforces features that are consistently useful under different conditions. The forget-and-relearn framework unifies many existing iterative training algorithms in the image classification and language emergence literature, and allows us to understand the success of these algorithms in terms of the disproportionate forgetting of undesirable information. We leverage this understanding to improve upon existing algorithms by designing more targeted forgetting operations. Insights from our analysis provide a coherent view on the dynamics of iterative training in neural networks and offer a clear path towards performance improvements.

研究动机与目标

• 将神经网络中的遗忘重新定义为并非失败，而是提升泛化能力的有益机制。
• 在图像分类和语言涌现任务中，将多种迭代训练算法统一于遗忘与重学的共同框架之下。
• 识别出这些算法成功的关键在于对不良信息的非均衡遗忘。
• 设计更具针对性的遗忘操作，通过选择性地移除信息来增强模型性能。
• 提供关于迭代重训如何通过受控遗忘实现更好泛化的理论与实证理解。

提出的方法

• 将遗忘操作定义为任意随机变换，其使训练准确率低于当前模型性能但高于随机水平，确保部分信息被移除。
• 将遗忘与重学过程形式化为交替阶段：遗忘（降低准确率）后接重训（在相同数据上提升准确率）。
• 利用网络与数据集之间的互信息，确保遗忘移除的是特定而非随机的信息，而非噪声。
• 将该框架应用于重新诠释现有算法（如迭代剪枝、知识演化和自蒸馏）为遗忘与重学的实例。
• 设计针对性的遗忘机制，如部分均衡遗忘（PBF），选择性地擦除无用特征，同时保留可泛化的特征。
• 通过训练动态和学习表征评估性能，尤其关注语言涌现任务中组合结构起关键作用的场景。

实验结果

研究问题

• RQ1 神经网络中的遗忘是否可以成为有益的学习机制而非失败模式？
• RQ2 图像分类和语言涌现任务中多种迭代训练算法的共同机制是什么？
• RQ3 为何像自蒸馏和剪枝等迭代训练方法能提升泛化能力？
• RQ4 如何使遗忘更具针对性，以保留有用特征并去除有害特征？
• RQ5 选择性遗忘在多大程度上能提升神经网络训练中的泛化能力？

主要发现

• 遗忘与重学框架统一了多种成功的迭代训练算法，包括知识演化、迭代剪枝和自蒸馏，其共同机制为选择性遗忘。
• 在提升泛化能力方面表现成功的算法，对不良信息的遗忘程度显著高于对有用特征的遗忘，同时保留了在不同训练条件下均具用处的特征。
• 针对性的遗忘操作（如部分均衡遗忘，PBF）在语言涌现任务中显著提升了性能，通过促进更具组合性和结构化的通信方式。
• 在语言涌现实验中，使用PBF的模型相比无遗忘的模型，发展出更具置换性、组合性的输入与信息映射。
• 遗忘过程通过放大在遗忘步骤引发的不同学习条件下始终有用的特征，从而实现更好的泛化。
• 理论分析表明，与数据集保持正互信息的遗忘操作，能有效支持重训并提升模型性能。