[论文解读] GAN Memory with No Forgetting

Yulai Cong, Miaoyun Zhao+3 more|arXiv (Cornell University)|Jun 13, 2020

Domain Adaptation and Few-Shot Learning参考文献 98被引用 4

一句话总结

本文提出 GAN Memory，一种终身学习框架，通过微调预训练 GAN 的风格调制生成来自新、感知上相距较远的数据分布的逼真样本，同时避免遗忘先前任务。通过在生成器和判别器中应用改进的 FiLM 和 AdaIN 层进行适应，该方法实现了高保真度的生成式回放，遗忘极少，在 CIFAR-10 和 ImageNet 基准测试中优于基线方法，同时支持参数压缩和跨任务知识共享。

ABSTRACT

As a fundamental issue in lifelong learning, catastrophic forgetting is directly caused by inaccessible historical data; accordingly, if the data (information) were memorized perfectly, no forgetting should be expected. Motivated by that, we propose a GAN memory for lifelong learning, which is capable of remembering a stream of datasets via generative processes, with \emph{no} forgetting. Our GAN memory is based on recognizing that one can modulate the "style" of a GAN model to form perceptually-distant targeted generation. Accordingly, we propose to do sequential style modulations atop a well-behaved base GAN model, to form sequential targeted generative models, while simultaneously benefiting from the transferred base knowledge. The GAN memory -- that is motivated by lifelong learning -- is therefore itself manifested by a form of lifelong learning, via forward transfer and modulation of information from prior tasks. Experiments demonstrate the superiority of our method over existing approaches and its effectiveness in alleviating catastrophic forgetting for lifelong classification problems. Code is available at https://github.com/MiaoyunZhao/GANmemory_LifelongLearning.

研究动机与目标

• 通过生成建模而非存储原始数据来记忆数据分布，以解决终身学习中的灾难性遗忘问题。
• 开发一种可扩展、保护隐私的生成式回放机制，避免现有方法中模糊或低质量样本的局限性。
• 在长序列任务中实现对高维数据（如图像）的持续学习，且性能不退化。
• 通过可压缩的、任务特定的风格参数实现参数效率与知识复用。

提出的方法

• 利用一个行为良好的预训练 GAN 作为基础模型，通过改进的风格调制技术对其生成器和判别器进行适应。
• 引入 mFiLM 和 mAdaFM 分别调制全连接层和卷积层，实现对新、感知上相距较远领域的风格迁移。
• 通过顺序风格调制生成任务特定的 GAN，同时保留基础模型的知识，形成终身生成记忆。
• 采用低秩近似和参数共享技术压缩风格参数，减少模型大小而不损失性能。
• 将 GAN 内存用作逼真的生成式回放机制，缓解下游分类任务中的遗忘问题。
• 将框架泛化为条件变体，以支持类别条件生成并提升下游性能。

实验结果

研究问题

• RQ1 单个预训练 GAN 是否能有效适应，以在不遗忘先前任务的前提下，从多个感知上不同的数据分布中生成逼真样本？
• RQ2 风格调制技术如何扩展至 GAN 的生成器和判别器组件，以实现有效的终身学习？
• RQ3 通过压缩，任务特定风格参数的数量能在多大程度上减少，同时保持生成质量且无遗忘？
• RQ4 所提出的 GAN Memory 框架是否在 CIFAR-10 和 ImageNet 等复杂数据集上优于现有生成式回放和核心集方法，有效缓解灾难性遗忘？
• RQ5 所学习的风格参数是否可跨任务共享或重用，从而实现具有不断增长生成能力的高效终身学习？

主要发现

• 在包含 6 个任务的 CIFAR-10 上，GAN Memory 的测试准确率与联合训练的上限值相差不超过 1.5%，表明其在持续学习中表现强劲。
• 在基于 ImageNet 的蝴蝶分类任务中，压缩后的 GAN Memory 将风格参数数量减少了高达 97.3%（从 1060 万降至 30 万），同时保持了具有竞争力的 FID 分数。
• 压缩 GAN Memory 的 FID 分数（D1 上为 27.67）与原始版本（28.89）相当，证实了压缩有效且无性能退化。
• 跨任务的参数共享将后期任务所需的新参数数量减少了高达 97%，表明知识复用能力极强。
• 该方法在终身学习基准测试中实现了最先进性能，优于现有的生成式回放和核心集方法。
• 该框架实现了在多样化领域中的逼真、高保真样本生成，即使在完成 6 个连续任务后也未观察到灾难性遗忘。