[论文解读] Memorization Precedes Generation: Learning Unsupervised GANs with Memory Networks

Youngjin Kim, Minjung Kim+1 more|arXiv (Cornell University)|Feb 15, 2018

Generative Adversarial Networks and Image Synthesis被引用 20

一句话总结

该论文提出 memoryGAN，一种无监督 GAN 框架，通过集成可学习的记忆网络来缓解潜在空间中的结构不连续性以及对抗训练过程中的判别器遗忘问题。通过使生成器和判别器都能访问共享记忆，该模型提升了表征学习能力和训练稳定性，在无需优化技巧的情况下实现了 CIFAR10 上的最先进 inception 分数。

ABSTRACT

We propose an approach to address two issues that commonly occur during training of unsupervised GANs. First, since GANs use only a continuous latent distribution to embed multiple classes or clusters of data, they often do not correctly handle the structural discontinuity between disparate classes in a latent space. Second, discriminators of GANs easily forget about past generated samples by generators, incurring instability during adversarial training. We argue that these two infamous problems of unsupervised GAN training can be largely alleviated by a learnable memory network to which both generators and discriminators can access. Generators can effectively learn representation of training samples to understand underlying cluster distributions of data, which ease the structure discontinuity problem. At the same time, discriminators can better memorize clusters of previously generated samples, which mitigate the forgetting problem. We propose a novel end-to-end GAN model named memoryGAN, which involves a memory network that is unsupervisedly trainable and integrable to many existing GAN models. With evaluations on multiple datasets such as Fashion-MNIST, CelebA, CIFAR10, and Chairs, we show that our model is probabilistically interpretable, and generates realistic image samples of high visual fidelity. The memoryGAN also achieves the state-of-the-art inception scores over unsupervised GAN models on the CIFAR10 dataset, without any optimization tricks and weaker divergences.

研究动机与目标

• 解决无监督 GAN 潜在空间中因单一连续潜在分布对应多个数据簇而引起的结构不连续性问题。
• 缓解对抗训练过程中判别器遗忘的问题，即判别器无法保留对先前生成样本的知识。
• 设计一种可学习的、端到端可训练的记忆网络，以提升无监督 GAN 中生成器和判别器的性能。
• 提升生成样本在多样化数据集上的概率可解释性和视觉保真度。
• 在不依赖优化技巧或较弱的散度损失的情况下，实现在 CIFAR10 上的最先进 inception 分数。

提出的方法

• 引入一个记忆网络，用于存储和检索真实数据与生成数据样本的表征，供生成器和判别器共同访问。
• 采用可微分的记忆读写机制，使生成器能够关注存储的数据表征，实现更具备簇感知能力的生成。
• 采用记忆增强型判别器，通过保持对过去生成样本的记忆来减少遗忘，提升训练稳定性。
• 将记忆网络作为即插即用模块集成到现有 GAN 架构中，实现与多种 GAN 变体的兼容性。
• 使用标准 GAN 目标端到端训练整个模型，记忆更新通过反向传播完成。
• 利用基于记忆的注意力机制，提升生成器对潜在数据簇分布的理解能力。

实验结果

研究问题

• RQ1 共享记忆网络能否减少无监督 GAN 潜在空间中的结构不连续性？
• RQ2 记忆增强训练在多大程度上能缓解对抗训练过程中的判别器遗忘？
• RQ3 memoryGAN 如何提升生成样本的概率可解释性和视觉质量？
• RQ4 memoryGAN 是否能在无需架构或优化技巧的情况下，在标准基准如 CIFAR10 上实现最先进性能？
• RQ5 记忆网络如何提升各类数据集上 GAN 训练的稳定性和收敛性？

主要发现

• memoryGAN 在无监督 GAN 模型中实现了 CIFAR10 上最先进 inception 分数，且未使用优化技巧或较弱的散度损失。
• 该模型在 Fashion-MNIST、CelebA 和 Chairs 数据集上生成了高保真度图像，视觉质量显著提升。
• 记忆网络促进了更好的表征学习，减少了不同数据簇之间潜在空间的不连续性。
• memoryGAN 中的判别器表现出更少的遗忘现象，表现为训练动态更稳定，性能随时间保持一致。
• 该模型具有概率可解释性，记忆访问模式反映了有意义的数据簇结构。
• 记忆网络成功集成到多种 GAN 架构中，展现出广泛的兼容性和有效性。