[论文解读] Memory Replay GANs: learning to generate images from new categories without forgetting

Chenshen Wu, Luis Herranz+4 more|arXiv (Cornell University)|Sep 6, 2018

Generative Adversarial Networks and Image Synthesis参考文献 29被引用 66

一句话总结

MeRGANs 通过使用记忆回放，在顺序 GAN 训练中防止遗忘，结合联合训练或回放对齐，在 MNIST、SVHN 和 LSUN 任务上实现具有竞争力且更稳定的图像生成。

ABSTRACT

Previous works on sequential learning address the problem of forgetting in discriminative models. In this paper we consider the case of generative models. In particular, we investigate generative adversarial networks (GANs) in the task of learning new categories in a sequential fashion. We first show that sequential fine tuning renders the network unable to properly generate images from previous categories (i.e. forgetting). Addressing this problem, we propose Memory Replay GANs (MeRGANs), a conditional GAN framework that integrates a memory replay generator. We study two methods to prevent forgetting by leveraging these replays, namely joint training with replay and replay alignment. Qualitative and quantitative experimental results in MNIST, SVHN and LSUN datasets show that our memory replay approach can generate competitive images while significantly mitigating the forgetting of previous categories.

研究动机与目标

• Motivating the problem of catastrophic forgetting in generative models under sequential category learning.
• 提议 Memory Replay GANs (MeRGANs) 以通过记忆回放机制缓解遗忘。
• Develop two strategies—joint training with replay and replay alignment—to leverage replayed memories during training.
• Demonstrate that MeRGANs generate competitive images while significantly reducing forgetting across multiple datasets.

提出的方法

• 使用条件 GAN 框架（AC-GAN 风格）与类别条件来从潜在向量 z 和类别 c 生成图像。
• 引入记忆回放生成器，复用过去任务样本以形成回放数据。
• 两种防止遗忘的策略： (a) 使用回放样本对训练集进行增强的联合再训练；(b) 回放对齐，在当前生成器上鼓励产生与回放生成器相同的图像，使用像素级损失。
• 将 EWC 基线作为比较，改编以适用于 GAN。
• 优化结合 GAN 损失（WGAN-GP）与在使用辅助分类器时的可选分类损失。
• （可选）对于顺序任务，从前一任务初始化当前任务参数以模拟持续学习设置。

实验结果

研究问题

• RQ1 当以顺序方式学习以生成新类别的图像时，GANs 是否会遭遇灾难性遗忘？
• RQ2 使用过去任务样本的记忆回放策略是否有助于保持对早前类别的生成质量？
• RQ3 在联合回放再训练和回放对齐之间，哪一种在 GAN 中产生更稳定的遗忘缓解？
• RQ4 MeRGAN 的变体在数字（MNIST、SVHN）和场景（LSUN）生成任务中的性能在质量与保持方面如何？

主要发现

• 与逐任务微调和若干基线（如 EWC、DGR）相比，MeRGANs 显著缓解遗忘。
• 在 MNIST 和 SVHN 上，MeRGANs 在学习大量任务后对早期数字的分类准确度保持更高，相较 SFT 与 EWC，MeRGAN-JTR 与 MeRGAN-RA 在 SVHN 上表现尤为出色。
• 在 LSUN 中，MeRGAN 变体相较基线达到更高的准确性和更好的 FID，表明在任务之间能保持图像质量与多样性。
• MeRGAN-RA 在如 LSUN 这类复杂数据集上通常提供更高的稳定性和略优的保持度，相较 MeRGAN-JTR。
• 粗略量化地看，在 LSUN 的第四个任务后，MeRGAN-JTR 与 MeRGAN-RA 的 Acc. 分别为 79.19% 和 81.03%，Rev acc. 分别为 70.00% 和 83.62%，FID 分别为 49.69 和 37.73，而 SFT 与 EWC 在这些指标上表现明显更差。