[论文解读] Continual Learning with Deep Generative Replay

Hanul Shin, Jung Kwon Lee+2 more|arXiv (Cornell University)|May 24, 2017

Domain Adaptation and Few-Shot Learning参考文献 32被引用 202

一句话总结

引入 Deep Generative Replay (DGR)，一种双模型框架（生成器与求解器），通过重放生成的过去数据来学习新任务，以减轻灾难性遗忘且无需存储真实的历史数据。

ABSTRACT

Attempts to train a comprehensive artificial intelligence capable of solving multiple tasks have been impeded by a chronic problem called catastrophic forgetting. Although simply replaying all previous data alleviates the problem, it requires large memory and even worse, often infeasible in real world applications where the access to past data is limited. Inspired by the generative nature of hippocampus as a short-term memory system in primate brain, we propose the Deep Generative Replay, a novel framework with a cooperative dual model architecture consisting of a deep generative model ("generator") and a task solving model ("solver"). With only these two models, training data for previous tasks can easily be sampled and interleaved with those for a new task. We test our methods in several sequential learning settings involving image classification tasks.

研究动机与目标

• 激发并解决深度网络在序列/任务学习中的灾难性遗忘。
• 提出一种以生成器模仿过去数据分布的内存高效的经验回放替代方案。
• 在不访问原始历史数据集的情况下实现跨任务与跨领域的知识迁移。
• 演示生成回放与现有连续学习方法及体系结构的兼容性。

提出的方法

• 将 scholar 定义为一个生成器–求解器对，其通过重放生成的过去输入及相应的过去任务目标来学习新任务。
• 在 GANs 框架内训练生成器以模仿过去的数据分布。
• 在真实当前任务数据与带有来自前一个求解器的目标的重放输入混合上训练求解器。
• 形成结合当前任务损失和重放损失的训练损失，以及在测试时考虑过去数据分布的损失。
• 表明对 scholars 的序列化训练等价于参考其最近副本来更新单个 scholar，从而在不存储过去数据的情况下实现持续学习。

实验结果

研究问题

• RQ1 在不存储过去数据的情况下学习一系列任务时，生成回放能否防止灾难性遗忘？
• RQ2 生成模型的质量如何影响跨任务和跨域的持续学习性能？
• RQ3 生成回放是否与其他持续学习方法（例如 LwF）和体系结构兼容？
• RQ4 该方法是否能够在不重新访问实际过去数据的情况下处理跨不相干或相关域的学习，甚至新类别？

主要发现

• 生成回放在学习新任务的同时保持对旧任务的性能，相较于仅在新任务上训练减少了遗忘。
• 该方法通过重放生成的过去数据在相关与不相关域之间学习，保留跨 MNIST 与 SVHN 等域的知识。
• 在某些域迁移情景下，结合生成回放的 LwF（LwF-GR）比单独 LwF 更有效地缓解遗忘。
• 通过重构输入和输出分布来学习新类别，使所有已见类别的性能保持平衡。
• 性能取决于生成器质量，但生成器和求解器的联合优化实现跨任务的稳健持续学习。