[论文解读] Generative Moment Matching Networks

Yujia Li, Kevin Swersky+1 more|arXiv (Cornell University)|Feb 10, 2015

Generative Adversarial Networks and Image Synthesis参考文献 48被引用 379

一句话总结

本文提出生成矩匹配网络（GMMN），一种深度生成模型，通过最大均值差异（MMD）作为训练目标，在单次前向传播中生成样本，避免了生成对抗网络（GAN）中的复杂极小化极大优化。该方法在MNIST和多伦多人脸数据库上均取得了最先进性能，尤其在结合自编码器后，显著提升了样本质量并解耦了数据流形。

ABSTRACT

We consider the problem of learning deep generative models from data. We formulate a method that generates an independent sample via a single feedforward pass through a multilayer perceptron, as in the recently proposed generative adversarial networks (Goodfellow et al., 2014). Training a generative adversarial network, however, requires careful optimization of a difficult minimax program. Instead, we utilize a technique from statistical hypothesis testing known as maximum mean discrepancy (MMD), which leads to a simple objective that can be interpreted as matching all orders of statistics between a dataset and samples from the model, and can be trained by backpropagation. We further boost the performance of this approach by combining our generative network with an auto-encoder network, using MMD to learn to generate codes that can then be decoded to produce samples. We show that the combination of these techniques yields excellent generative models compared to baseline approaches as measured on MNIST and the Toronto Face Database.

研究动机与目标

• 开发一种简单、可扩展的深度生成模型，避免生成对抗网络（GAN）中不稳定的训练动态。
• 利用最大均值差异（MMD）作为训练目标，匹配数据分布与生成样本之间的所有统计矩。
• 通过将GMMN与自编码器结合，提升样本质量，并在编码空间中学习解耦表示。
• 在保持高保真度生成质量的同时，实现高效的一次性采样。

提出的方法

• 使用MMD作为经验数据分布与模型生成分布之间的差异度量，定义为它们在再生核希尔伯特空间中均值嵌入之间距离的平方。
• 通过高斯核的核技巧高效计算MMD，无需显式计算高阶矩。
• 通过反向传播训练生成网络，使用小批量随机梯度下降最小化MMD损失。
• 通过训练GMMN在潜在空间中生成编码，再经解码器生成数据样本，实现GMMN与自编码器的结合。
• 使用通用核（如高斯核）确保当且仅当真实分布与模型分布在极限下相等时，MMD为零。
• 将MMD目标应用于预训练自编码器的编码空间，使模型能够学习有意义且解耦的潜在流形。

实验结果

研究问题

• RQ1 MMD能否作为GAN的稳定、可扩展的替代方案，用于训练深度生成模型，且无需对抗训练？
• RQ2 基于MMD的训练在MNIST和多伦多人脸数据库等图像数据集上能否生成逼真的样本？
• RQ3 将GMMN与自编码器结合能否提升样本质量并实现数据流形的解耦？
• RQ4 在自编码器的潜在空间中使用MMD训练是否比在原始数据空间中训练具有更好的泛化能力？
• RQ5 能否通过小批量随机梯度下降高效地将MMD目标扩展到大规模数据集？

主要发现

• 与基线方法（包括GAN）相比，GMMN在MNIST和多伦多人脸数据库上均实现了更优的样本质量。
• GMMN+AE变体成功学习到平滑、连续的数据流形，表现为潜在编码空间中的线性插值可产生逼真的图像过渡。
• GMMN+AE模型生成的样本在多伦多人脸数据库上展现出逼真的姿态、表情、光照、性别和胡须等变化。
• 使用MMD作为训练目标可实现稳定、端到端的反向传播训练，无需对抗优化。
• 由于采用小批量随机梯度下降和核技巧，该方法可高效扩展至大规模数据集。
• 实验表明，通过MMD匹配所有统计矩可实现高质量生成，即使未显式最大化似然。