[论文解读] An Empirical Investigation of Catastrophic Forgetting in Gradient-Based Neural Networks

Ian Goodfellow, Mehdi Mirza+3 more|arXiv (Cornell University)|Jan 1, 2014

Domain Adaptation and Few-Shot Learning参考文献 14被引用 497

一句话总结

本文通过实证研究，调查了在各种架构、激活函数和任务关系下，基于梯度的神经网络中的灾难性遗忘现象。研究发现，dropout在平衡先前知识保留与新任务适应方面始终优于其他训练方法，而激活函数的表现则高度依赖于任务，因此需要通过交叉验证来选择最优配置。

ABSTRACT

Abstract: Catastrophic forgetting is a problem faced by many machine learning models and algorithms. When trained on one task, then trained on a second task, many machine learning models forget how to perform the first task. This is widely believed to be a serious problem for neural networks. Here, we investigate the extent to which the catastrophic forgetting problem occurs for modern neural networks, comparing both established and recent gradient-based training algorithms and activation functions. We also examine the effect of the relationship between the first task and the second task on catastrophic forgetting. We find that it is always best to train using the dropout algorithm--the dropout algorithm is consistently best at adapting to the new task, remembering the old task, and has the best tradeoff curve between these two extremes. We find that different tasks and relationships between tasks result in very different rankings of activation function performance. This suggests the choice of activation function should always be cross-validated.

研究动机与目标

• 评估现代神经网络在顺序任务学习过程中灾难性遗忘的程度。
• 比较现有及近期基于梯度的训练算法在缓解遗忘方面的表现。
• 评估任务间关系对遗忘行为的影响。
• 确定不同激活函数对保留与适应性能的影响。
• 识别能够在记住旧任务与学习新任务之间实现最佳平衡的最优训练策略。

提出的方法

• 在多种基于梯度的优化算法下，对顺序学习多个任务的神经网络进行实证实验。
• 在不同任务关系下，评估包括ReLU、ELU及其他激活函数在内的多种激活函数的性能。
• 通过在第二个任务训练后对第一个任务的准确率进行测量，评估灾难性遗忘程度。
• 在所有实验中，将dropout正则化作为基线和对比方法。
• 通过性能曲线分析记住旧任务性能与适应新任务之间的权衡。
• 系统性地改变第一和第二项任务之间的相似性和重叠程度，以评估其对遗忘的影响。

实验结果

研究问题

• RQ1 在顺序训练过程中，现代神经网络中灾难性遗忘的程度如何？
• RQ2 不同基于梯度的训练算法在缓解遗忘方面表现如何比较？
• RQ3 第一项任务与第二项任务之间的关系如何影响遗忘程度？
• RQ4 哪种激活函数能在记住旧任务与学习新任务之间实现最佳平衡？
• RQ5 是否存在一种普遍最优的训练配置，可使不同任务对之间的遗忘最小化？

主要发现

• dropout在保持第一项任务性能的同时适应第二项任务方面，始终优于所有其他训练算法。
• 激活函数的性能排名显著依赖于第一项任务与第二项任务之间的关系。
• 没有一种激活函数是普遍最优的；其性能高度依赖于任务，因此需要通过交叉验证进行选择。
• 在使用dropout时，记住旧任务与学习新任务之间的权衡最为有利。
• 任务相似性和重叠程度对遗忘率有显著影响，任务越相似，遗忘越少。
• 即使在现代架构中，除非采用如dropout等适当的训练策略，否则灾难性遗忘仍是显著问题。