[论文解读] BourGAN: Generative Networks with Metric Embeddings

Chang Xiao, Peilin Zhong+1 more|arXiv (Cornell University)|May 19, 2018

Generative Adversarial Networks and Image Synthesis被引用 26

一句话总结

BourGAN 通过在度量空间中将数据模式建模为几何结构，解决了 GAN 中的模式崩溃问题，将这些结构嵌入 L2 空间以保持成对距离。这使得潜在空间维度的自动选择成为可能，并结合高斯混合模型进行采样，从而在近期 GAN 变体中提升了模式覆盖度和样本质量。

ABSTRACT

This paper addresses the mode collapse for generative adversarial networks (GANs). We view modes as a geometric structure of data distribution in a metric space. Under this geometric lens, we embed subsamples of the dataset from an arbitrary metric space into the L2 space, while preserving their pairwise distance distribution. Not only does this metric embedding determine the dimensionality of the latent space automatically, it also enables us to construct a mixture of Gaussians to draw latent space random vectors. We use the Gaussian mixture model in tandem with a simple augmentation of the objective function to train GANs. Every major step of our method is supported by theoretical analysis, and our experiments on real and synthetic data confirm that the generator is able to produce samples spreading over most of the modes while avoiding unwanted samples, outperforming several recent GAN variants on a number of metrics and offering new features.

研究动机与目标

• 解决 GAN 中长期存在的模式崩溃问题，即生成器无法覆盖所有数据模式。
• 将数据模式建模为度量空间中的几何结构，以实现对数据分布的更结构化表示。
• 通过度量嵌入自动确定潜在空间的维度，同时保持成对距离分布。
• 通过将度量嵌入与高斯混合模型结合以生成潜在向量，提升样本的多样性和质量。
• 为所提出方法的每个组件提供理论依据，确保其鲁棒性和泛化能力。

提出的方法

• 使用保持距离的变换，将来自任意度量空间的子样本数据嵌入到 L2 空间。
• 在嵌入过程中保留原始度量空间中数据点之间的成对距离分布。
• 利用嵌入空间自动确定生成器潜在空间的维度。
• 在嵌入数据上构建高斯混合模型（GMM），以生成反映底层数据分布的潜在向量。
• 将标准 GAN 目标函数增强，以整合基于 GMM 的先验，提升训练稳定性和模式覆盖度。
• 将 GMM 先验集成到生成器潜在空间采样过程中，以鼓励探索所有数据模式。

实验结果

研究问题

• RQ1 在度量空间中对数据模式进行几何建模是否能改善 GAN 中的模式覆盖度？
• RQ2 在度量嵌入过程中保持成对距离是否能带来更优的潜在空间表示和采样效果？
• RQ3 是否能通过度量嵌入自动确定潜在空间维度，而无需超参数调优？
• RQ4 将基于 GMM 的采样与增强的 GAN 目标函数结合，能在多大程度上减少模式崩溃？
• RQ5 与近期 GAN 变体相比，该方法在样本多样性和分布保真度方面表现如何？

主要发现

• BourGAN 成功生成了覆盖大多数数据模式的样本，与基线 GAN 相比显著减少了模式崩溃。
• 该方法在合成数据集和真实世界数据集上均实现了更优的样本质量和多样性，在标准指标上优于多个近期 GAN 变体。
• 潜在空间维度由度量嵌入过程自动确定，无需人工调参。
• 使用高斯混合模型进行潜在采样，显著增强了生成器探索复杂数据分布的能力。
• 理论分析支持方法的每个组件，验证了其设计选择和稳定性。
• 实证结果证实，增强的目标函数能有效引导生成器覆盖所有主要数据模式。