[论文解读] Overcoming catastrophic forgetting in neural networks

James Kirkpatrick, Razvan Pascanu+12 more|arXiv (Cornell University)|Dec 2, 2016

Domain Adaptation and Few-Shot Learning参考文献 31被引用 72

一句话总结

本文提出弹性权重巩固（Elastic Weight Consolidation, EWC），一种通过保护关键权重免受持续学习中灾难性遗忘影响的神经网络方法。通过使用费雪信息识别并减缓关键参数的学习速度，EWC使深度网络能够在不遗忘先前知识的前提下，顺序学习多个任务，在MNIST和Atari 2600游戏上均取得成功。

ABSTRACT

The ability to learn tasks in a sequential fashion is crucial to the development of artificial intelligence. Neural networks are not, in general, capable of this and it has been widely thought that catastrophic forgetting is an inevitable feature of connectionist models. We show that it is possible to overcome this limitation and train networks that can maintain expertise on tasks which they have not experienced for a long time. Our approach remembers old tasks by selectively slowing down learning on the weights important for those tasks. We demonstrate our approach is scalable and effective by solving a set of classification tasks based on the MNIST hand written digit dataset and by learning several Atari 2600 games sequentially.

研究动机与目标

• 解决在顺序学习中灾难性遗忘的挑战，即神经网络在学习新任务时性能会下降，导致先前学习任务的性能下降。
• 开发一种可扩展的算法，使深度神经网络在无需重放旧数据的情况下实现持续学习。
• 从神经生物学突触巩固机制中获得启发，设计一种在人工网络中具有生物学合理性的学习机制。
• 在监督学习和强化学习设置中证明所提方法的有效性。
• 通过基于任务重要性的参数正则化，实现在深度网络中长期保留特定任务的知识。

提出的方法

• EWC使用费雪信息矩阵来估计网络中每个权重对先前学习任务的重要性。
• 对对过去任务至关重要的参数施加二次惩罚，从而在后续训练中有效减缓其更新速度。
• 惩罚项通过费雪信息矩阵的对角线部分计算得出，采用参数的点估计进行近似。
• 该方法计算效率高，时间复杂度与参数数量和训练样本数量呈线性关系。
• EWC可与标准反向传播结合使用，并兼容监督学习和强化学习框架。
• 该算法基于贝叶斯推断，其网络权重的先验分布由先前任务的后验分布导出。

实验结果

研究问题

• RQ1 深度神经网络能否在不发生灾难性遗忘的情况下顺序学习多个任务？
• RQ2 在持续学习过程中，如何识别并保护对先前学习任务至关重要的参数？
• RQ3 像突触巩固这样的生物启发机制能否在人工神经网络中有效实现？
• RQ4 使用费雪信息作为参数重要性度量是否能带来对先前知识的更好保留？
• RQ5 EWC能否扩展到Atari 2600游戏等复杂、现实的学习环境？

主要发现

• EWC在MNIST数字分类任务的顺序学习中成功防止了灾难性遗忘，维持了对先前学习数字的高准确率。
• 该方法使深度强化学习智能体能够按顺序学习多个Atari 2600游戏，同时保持对早期游戏的性能。
• EWC计算开销极小，其复杂度与参数数量和训练样本数量呈线性关系。
• 利用费雪信息估计参数重要性，相比简单的权重衰减或随机剪枝，能实现更有效的正则化。
• 在高维和复杂领域中，EWC优于先前方法如经验回放和固定先验的弹性权重巩固。
• 该算法的成功支持了大脑中突触巩固机制可能支撑长期记忆保留，并可在人工系统中模拟的假设。