[论文解读] Associative Adversarial Networks

Tarik Arici, Aslı Çelikyılmaz|arXiv (Cornell University)|Nov 18, 2016

Generative Adversarial Networks and Image Synthesis参考文献 12被引用 9

一句话总结

本文提出关联对抗网络（AANs），在生成对抗网络（GAN）的判别器与生成器之间插入一个受限玻尔兹曼机（RBM），作为随机关联记忆。通过学习判别器中间特征的概率分布，RBM 生成结构化、模式丰富的输入，从而简化生成器的映射任务，相较于使用均匀噪声的标准 GAN，实现了更稳定的训练过程和更高的样本多样性。

ABSTRACT

We propose a higher-level associative memory for learning adversarial networks. Generative adversarial network (GAN) framework has a discriminator and a generator network. The generator (G) maps white noise (z) to data samples while the discriminator (D) maps data samples to a single scalar. To do so, G learns how to map from high-level representation space to data space, and D learns to do the opposite. We argue that higher-level representation spaces need not necessarily follow a uniform probability distribution. In this work, we use Restricted Boltzmann Machines (RBMs) as a higher-level associative memory and learn the probability distribution for the high-level features generated by D. The associative memory samples its underlying probability distribution and G learns how to map these samples to data space. The proposed associative adversarial networks (AANs) are generative models in the higher-levels of the learning, and use adversarial non-stochastic models D and G for learning the mapping between data and higher-level representation spaces. Experiments show the potential of the proposed networks.

研究动机与目标

• 为解决标准 GAN 中因生成器难以将均匀噪声映射到复杂数据分布而导致的训练不稳定和模式崩溃问题。
• 通过用来自高层表示空间的结构化、模式感知样本替代均匀噪声输入，减轻生成器的学习负担。
• 通过利用建模判别器中间特征概率结构的关联记忆，改善训练动力学。
• 通过实证验证，从学习到的高层表示空间采样可生成更具多样性与真实感的样本。

提出的方法

• 在判别器提取的中间特征上训练 RBM 作为关联记忆，学习这些高层表示的潜在概率分布。
• 对 RBM 应用 Gibbs 采样，生成结构化、非均匀的输入供给生成器，替代标准的均匀噪声 z。
• 生成器以 RBM 可见层的采样结果为条件，这些采样值来自判别器特征空间上的学习分布。
• 判别器被训练以区分真实数据与生成样本，而生成器则使用 RBM 采样输入来欺骗判别器。
• 联合训练过程交替更新判别器、RBM 和生成器，其中 RBM 作为有意义特征配置的随机先验。
• 在 CelebA 数据集上通过保留样本的似然度和生成图像的视觉质量对模型进行评估，以衡量 RBM 的表征能力与泛化性能。

实验结果

研究问题

• RQ1 像 RBM 这样的关联记忆模型是否能通过学习判别器中间特征的结构化先验，改善 GAN 的训练稳定性和样本多样性？
• RQ2 用 RBM 采样输入替代均匀噪声，是否能减轻生成器的学习负担并缓解模式崩溃？
• RQ3 中间特征空间的维度如何影响 RBM Gibbs 采样器的混合速度与模式覆盖能力？
• RQ4 与标准 GAN 相比，RBM 学习到的分布在多大程度上提升了生成图像的质量与多样性？

主要发现

• 使用 100 维中间特征空间时，RBM 的 Gibbs 采样器混合速度更快，能够快速在生成人脸图像的性别、种族等模式间切换。
• 在 1000 维特征空间下，RBM 需要多达 10 步 Gibbs 采样才能在模式间切换，表明混合速度慢且对分布探索不足。
• 使用 RBM 采样输入训练的生成器表现出更优的收敛行为，真实样本与生成样本的判别器得分比值更稳定，优于标准 GAN。
• 保留样本的似然度评估证实，RBM 在判别器中间特征上学习到了有意义且非退化的概率分布。
• 视觉样本显示，RBM 采样输入生成的图像更具多样性与真实感，尤其在低维特征空间下表现更优。
• 关联记忆有效缓解了生成器的学习任务，降低了模式崩溃风险，实现了更稳定的对抗训练。