[论文解读] MMGAN: Generative Adversarial Networks for Multi-Modal Distributions

Teodora Pandeva, Matthias Schubert|arXiv (Cornell University)|Nov 15, 2019

Generative Adversarial Networks and Image Synthesis参考文献 19被引用 8

一句话总结

MMGAN 提出了一种新颖的 GAN 架构，将潜在空间建模为高斯混合模型（GMM），并引入专用的聚类网络以稳定训练并在多模态数据上提升生成性能。通过将每个数据流形与一个独立的潜在聚类关联，MMGAN 实现了更优的聚类性能和稳定的训练过程，在 MNIST、Fashion-MNIST 和 Coil-20 数据集上均优于当前最先进模型。

ABSTRACT

Over the past years, Generative Adversarial Networks (GANs) have shown a remarkable generation performance especially in image synthesis. Unfortunately, they are also known for having an unstable training process and might loose parts of the data distribution for heterogeneous input data. In this paper, we propose a novel GAN extension for multi-modal distribution learning (MMGAN). In our approach, we model the latent space as a Gaussian mixture model with a number of clusters referring to the number of disconnected data manifolds in the observation space, and include a clustering network, which relates each data manifold to one Gaussian cluster. Thus, the training gets more stable. Moreover, MMGAN allows for clustering real data according to the learned data manifold in the latent space. By a series of benchmark experiments, we illustrate that MMGAN outperforms competitive state-of-the-art models in terms of clustering performance.

研究动机与目标

• 解决标准 GAN 在建模多模态数据分布时的训练不稳定性与模式崩溃问题。
• 通过学习与数据流形对齐的结构化、互不重叠的潜在空间，实现真实数据的可解释性聚类。
• 通过显式地将潜在空间建模为具有聚类特异性分量的 GMM，提升生成性能与训练稳定性。
• 提供一个统一的框架，实现生成与无监督聚类，而无需依赖后处理或强 VAE 风格的归纳偏置。

提出的方法

• 提出一种 GAN 变体（MMGAN），其中潜在空间被建模为具有 K 个分量的可学习高斯混合模型（GMM），每个分量对应一个数据流形。
• 引入一个聚类网络，将真实数据映射到潜在空间中最可能的 GMM 分量，从而实现端到端训练并结合对抗损失。
• 在训练过程中采用配对策略，确保真实数据与生成样本与同一 GMM 聚类对齐，从而提升判别器信号与训练稳定性。
• 采用 cRaSGAN 对抗损失以稳定训练并提升模式覆盖能力，尤其在高维与多模态设置下表现更优。
• 利用通用近似定理证明存在一个生成器，可通过 MMGAN 结构有效建模复杂且不连通的数据分布。
• 通过预测最可能的 GMM 分量实现对真实数据的推理，从而在潜在空间中执行无监督聚类。

实验结果

研究问题

• RQ1 将潜在空间建模为高斯混合模型是否能提升 GAN 在多模态数据上的训练稳定性和模式覆盖能力？
• RQ2 所提出的聚类网络是否能基于潜在数据流形实现对真实数据的准确无监督聚类？
• RQ3 每个聚类中真实样本与生成样本的配对策略如何影响判别器性能与收敛性？
• RQ4 MMGAN 在生成质量与聚类性能方面相较于现有最先进模型的优越程度如何？

主要发现

• 在 MNIST 上，MMGAN 达到了 NMI 0.91±0.03、ARI 0.90±0.05 和 ACC 0.94±0.04 的聚类性能，优于无配对基线。
• 在 Fashion-MNIST 上，MMGAN 达到了 NMI 0.65±0.01、ARI 0.52±0.06 和 ACC 0.66±0.03，展现出在复杂真实世界数据上的稳健性能。
• 在 Coil-20 上，MMGAN 达到了 NMI 0.80±0.01、ARI 0.62±0.02 和 ACC 0.73±0.03，表现出在小型多模态数据集上的强劲性能。
• 配对 MMGAN 设置下的判别器损失下降速度比随机配对基线更缓慢，表明学习动态更稳定。
• 采用互不重叠的聚类初始化时，模型成功重建了预定义的数据簇；而重叠初始化则导致聚类性能差劣且生成样本质量下降。
• 与 ClusterGAN 和 GM-GAN 等竞争模型相比，MMGAN 在聚类准确率与训练稳定性方面均表现出显著优越性能。