[论文解读] Measuring Catastrophic Forgetting in Neural Networks

Ronald Kemker, Marc McClure+3 more|arXiv (Cornell University)|Aug 7, 2017

Multimodal Machine Learning Applications被引用 190

一句话总结

本论文评估五种机制在增量学习中缓解灾难性遗忘的有效性，在真实世界的图像和音频数据集上引入新基准和度量，并比较它们，结果显示在跨范式的遗忘问题上还未被完全解决。

ABSTRACT

Deep neural networks are used in many state-of-the-art systems for machine perception. Once a network is trained to do a specific task, e.g., bird classification, it cannot easily be trained to do new tasks, e.g., incrementally learning to recognize additional bird species or learning an entirely different task such as flower recognition. When new tasks are added, typical deep neural networks are prone to catastrophically forgetting previous tasks. Networks that are capable of assimilating new information incrementally, much like how humans form new memories over time, will be more efficient than re-training the model from scratch each time a new task needs to be learned. There have been multiple attempts to develop schemes that mitigate catastrophic forgetting, but these methods have not been directly compared, the tests used to evaluate them vary considerably, and these methods have only been evaluated on small-scale problems (e.g., MNIST). In this paper, we introduce new metrics and benchmarks for directly comparing five different mechanisms designed to mitigate catastrophic forgetting in neural networks: regularization, ensembling, rehearsal, dual-memory, and sparse-coding. Our experiments on real-world images and sounds show that the mechanism(s) that are critical for optimal performance vary based on the incremental training paradigm and type of data being used, but they all demonstrate that the catastrophic forgetting problem has yet to be solved.

研究动机与目标

• 推动需要在不产生灾难性遗忘的情况下进行深度神经网络增量学习的理念。
• 提出可扩展到从MNIST扩展到100–200类别的真实世界数据集的新基准和度量。
• 在不同的增量范式下比较五种机制——正则化、集成、回放、双记忆和稀疏编码。
• 评估不同数据模态和任务设置如何影响遗忘及方法性能。

提出的方法

• 用研究阶段和可选的 past data 外部内存定义增量学习设置。
• 开发三种新基准：数据置换、增量类别学习和多模态学习。
• 在固定参数数量的基线下评估五种机制（EWC、PathNet、GeppNet、GeppNet+STM、FEL）。
• 引入三个与遗忘相关的度量 Omega_base、Omega_new、Omega_all 以量化保持与获取。
• 分析各模型的训练时间和内存占用。

实验结果

研究问题

• RQ1 在真实世界数据集上，不同增量学习范式下，五种遗忘缓解机制的比较如何？
• RQ2 当扩展到100–200类别任务和跨模态数据时，现有解决方案是否完全解决灾难性遗忘？
• RQ3 哪些因素（内存使用、模型容量、稀疏性）对跨任务的遗忘与保持影响最大？
• RQ4 度量 Omega_base、Omega_new、Omega_all 如何在不同数据集上捕捉保持与学习的权衡？

主要发现

• 在所有任务和数据集上，所测试的方法均未能完全解决灾难性遗忘。
• Omega_all 通常在 MNIST 上高于 CUB-200 或 AudioSet，突显数据集依赖性的性能差异。
• GeppNet 与 GeppNet+STM 在增量类别学习中表现强劲，GeppNet 往往是最优；GeppNet+STM 能保持基线知识但在某些数据集上对新类别表现欠佳。
• EWC 在多模态学习中表现出色，能在获取第二模态时保持第一模态。
• PathNet 在数据置换任务中表现最好，但需要为每个会话单独输出，且在共享特征时可能趋于饱和。
• FEL 能较好地学习新类别，但会忘记基底集合，当稀疏性成为唯一机制时，内存占用显著增加。