[论文解读] Deep Generative Dual Memory Network for Continual Learning

Nitin Kamra, Umang Gupta+1 more|arXiv (Cornell University)|Oct 28, 2017

Domain Adaptation and Few-Shot Learning参考文献 31被引用 124

一句话总结

一个提出双记忆架构并结合深度生成回放以缓解序列任务学习中的灾难性遗忘并在多个图像分类基准上显示出更好的保留能力。

ABSTRACT

Despite advances in deep learning, neural networks can only learn multiple tasks when trained on them jointly. When tasks arrive sequentially, they lose performance on previously learnt tasks. This phenomenon called catastrophic forgetting is a fundamental challenge to overcome before neural networks can learn continually from incoming data. In this work, we derive inspiration from human memory to develop an architecture capable of learning continuously from sequentially incoming tasks, while averting catastrophic forgetting. Specifically, our contributions are: (i) a dual memory architecture emulating the complementary learning systems (hippocampus and the neocortex) in the human brain, (ii) memory consolidation via generative replay of past experiences, (iii) demonstrating advantages of generative replay and dual memories via experiments, and (iv) improved performance retention on challenging tasks even for low capacity models. Our architecture displays many characteristics of the mammalian memory and provides insights on the connection between sleep and learning.

研究动机与目标

• 克服在序列任务学习中的灾难性遗忘的动机。
• 引入受海马体与新皮层启发的双记忆架构。
• 使用生成回放将过去的知识巩固到长期记忆中。
• 显示带有生成回放的双记忆在基线方法之上，甚至在低容量模型中也具有更好表现。
• 突出睡眠样整合与持续学习之间的联系。

提出的方法

• 引入具有生成器 G、学习器 L 和字典 D_dgm 的深度生成记忆 (DGM)。
• 使用深度生成回放 (DGR) 在新数据与来自过去任务的生成样本混合上进行训练。
• 实现一个双记忆系统：短期记忆 (STM) 具备用于新任务的多个 STTM 单元，长期记忆 (LTM) 负责巩固知识。
• 在睡眠阶段，STM 生成样本并通过生成回放将其巩固到 LTM。
• 使用变分自编码器 (VAE) 作为生成器，在回放时重构并去噪样本。
• 在序列任务基准上进行评估，并与基线方法如 NN、Dropout、PPR、EWC 和 DGR 进行比较。

实验结果

研究问题

• RQ1 是否可以通过将双记忆架构与生成回放结合来防止序列任务学习中的灾难性遗忘？
• RQ2 在平均准确率（ACC）和向后转移（BWT）方面，所提方法与现有基线相比如何？
• RQ3 内存约束和任务修订对持续学习性能有何影响？
• RQ4 睡眠样整合（周期性记忆整合）如何影响长期保持和训练效率？

主要发现

• DGDMN 和 DGR 在多数据集上的平均准确度持续优于基线。
• 在Digits、Permnist、Shapes、Hindi 等若干数据集上，DGDMN 的 ACC 高于 DGR。
• DGDMN 获得最小的负向向后转移，表明相较基线遗忘减少。
• 在内存约束下，DGDMN 仍然更鲁棒、训练速度也比 DGR 快，尤其在长任务序列上。
• 双记忆 + 生成回放方法在长序列中表现为逐步遗忘而非灾难性遗忘。