[论文解读] Competitive Training of Mixtures of Independent Deep Generative Models

Francesco Locatello, Damien Vincent+4 more|arXiv (Cornell University)|Apr 30, 2018

Generative Adversarial Networks and Image Synthesis参考文献 37被引用 15

一句话总结

本文提出通过辅助判别器实现独立深度生成模型混合模型的对抗性训练，使每个模型能够专注于不同的数据模式，从而提升生成样本质量和对数似然。通过竞争性地解耦训练过程，模型性能优于单一模型或集成方法，在MNIST和CelebA数据集上取得了当前最优的FID分数。

ABSTRACT

A common assumption in causal modeling posits that the data is generated by a set of independent mechanisms, and algorithms should aim to recover this structure. Standard unsupervised learning, however, is often concerned with training a single model to capture the overall distribution or aspects thereof. Inspired by clustering approaches, we consider mixtures of implicit generative models that ``disentangle'' the independent generative mechanisms underlying the data. Relying on an additional set of discriminators, we propose a competitive training procedure in which the models only need to capture the portion of the data distribution from which they can produce realistic samples. As a by-product, each model is simpler and faster to train. We empirically show that our approach splits the training distribution in a sensible way and increases the quality of the generated samples.

研究动机与目标

• 解决单一生成模型因容量限制而陷入模式崩溃的局限性。
• 使多个生成模型能够专注于复杂数据分布的不同组成部分。
• 通过允许模型专注于其擅长建模的数据部分，提升样本质量和对数似然。
• 提出一种使用f-散度最小化训练隐式生成模型混合的一般性框架。
• 通过因果解耦，弥合VAE（建模完整分布）与GAN（存在模式崩溃问题）之间的差距。

提出的方法

• 引入生成模型的混合结构，其中每个模型被训练为从数据分布的特定子集生成真实样本。
• 使用一组辅助判别器评估样本质量，并独立引导每个生成器的训练。
• 将整体f-散度分解为每个模型的独立分量，实现各生成器的并行与独立训练。
• 将训练目标表述为最小化混合模型与真实数据分布之间的广义f-散度。
• 将该方法与k-means聚类相关联，表明在特定条件下其可恢复为k-means的特例。
• 将该框架应用于VAE和GAN，使它们能够在无需顺序训练的情况下专注于不同模式。

实验结果

研究问题

• RQ1 通过辅助判别器的对抗性训练，是否能够使多个生成模型成功专注于复杂数据分布的不同模式？
• RQ2 与单一模型或集成基线相比，所提方法在样本质量和对数似然方面有何改进？
• RQ3 该方法在VAE和GAN上的泛化程度如何？其与聚类算法有何关联？
• RQ4 对抗性训练过程是否能带来更解耦且可解释的数据分布表征？
• RQ5 该方法能否扩展至自适应组件选择或模型间的参数共享？

主要发现

• 对抗性训练过程成功地将数据分布划分为不同成分，相似的数字和风格在生成样本中聚类在一起。
• 在MNIST上，使用3个具有512个滤波器的GAN，该方法取得了19.38的FID分数，优于单个GAN（21.18）和集成方法（71.90）。
• 在CelebA上，使用3个具有512个滤波器的GAN，该方法取得了23.75的FID分数，显著优于单个GAN（23.63）和集成方法（71.90）。
• 在CelebA上使用VAE，该方法取得了64.55的FID分数，与更大的VAE（67.06）相当，且显著优于集成方法（71.90）。
• 消融实验表明，当单个模型不足以建模完整分布时，性能提升最为显著。
• 该方法在VAE和GAN上均具有泛化能力，在不同数据集和架构上均一致提升了样本质量和对数似然。