[论文解读] Approximability of Discriminators Implies Diversity in GANs

Yu Bai, Tengyu Ma+1 more|arXiv (Cornell University)|Jun 27, 2018

Generative Adversarial Networks and Image Synthesis参考文献 37被引用 42

一句话总结

本论文表明，通过为鉴别器设计对特定生成器类别具有受限逼近性的特性，GANs可以在Wasserstein距离（以及在某些情况下的KL发散）下学习分布，样本复杂度为多项式，在适当条件下可缓解模式崩溃。

ABSTRACT

While Generative Adversarial Networks (GANs) have empirically produced impressive results on learning complex real-world distributions, recent works have shown that they suffer from lack of diversity or mode collapse. The theoretical work of Arora et al. suggests a dilemma about GANs' statistical properties: powerful discriminators cause overfitting, whereas weak discriminators cannot detect mode collapse. By contrast, we show in this paper that GANs can in principle learn distributions in Wasserstein distance (or KL-divergence in many cases) with polynomial sample complexity, if the discriminator class has strong distinguishing power against the particular generator class (instead of against all possible generators). For various generator classes such as mixture of Gaussians, exponential families, and invertible and injective neural networks generators, we design corresponding discriminators (which are often neural nets of specific architectures) such that the Integral Probability Metric (IPM) induced by the discriminators can provably approximate the Wasserstein distance and/or KL-divergence. This implies that if the training is successful, then the learned distribution is close to the true distribution in Wasserstein distance or KL divergence, and thus cannot drop modes. Our preliminary experiments show that on synthetic datasets the test IPM is well correlated with KL divergence or the Wasserstein distance, indicating that the lack of diversity in GANs may be caused by the sub-optimality in optimization instead of statistical inefficiency.

研究动机与目标

• 动机化并形式化在使用强鉴别器与弱鉴别器时GAN中的模式崩溃/多样性张力。
• 引入受限逼近性的概念：能在生成器类G内区分p和q的鉴别器，从而实现总体层面的保证。
• 演示如何为特定生成器类（高斯、指数族、可逆/单射神经网络）设计能够逼近Wasserstein或KL距离的鉴别器。
• 提供理论保证：成功训练意味着在Wasserstein距离或KL发散上接近真实分布，从而防止显著的模式丢失。

提出的方法

• 用函数族F定义IPM W_F(p,q)，并在F为1-Lipschitz函数时将其与Wasserstein-1相关联。
• 为所有q在生成器类G中，gamma_L(W1(p,q)) <= W_F(p,q) <= gamma_U(W1(p,q))。
• 为基本分布设计F鉴别器类，如高斯（单层ReLU）和指数族（线性统计量）。
• 研究神经网络生成器，包括可逆网络（密度存在）和单射网络（流形），并构建具有对数密度相关鉴别器或平滑变体的F。
• 在可逆生成器设定下，建立界限：W1(p,q)^2 <= D_KL(p||q)+D_KL(q||p) <= W_F(p,q) <= poly(d)/delta^2 * (W1(p,q) + small terms)。
• 通过Rademacher复杂度R_n(F,G)给出泛化界限，以关联总体IPM与经验IPM。

实验结果

研究问题

• RQ1 是否可以设计具有限逼近性的鉴别器，使其相对于特定生成器类别，在IPM较小时能保证Wasserstein或KL距离的接近？
• RQ2 对于哪些生成器族（高斯、指数族、可逆/单射神经网络），可以构造出可证明近似相应距离度量的鉴别器？
• RQ3 在受限逼近性下，是否存在多项式样本量保证用于训练GAN，并且它们是否意味着缓解模式崩溃？
• RQ4 对低维流形支持（KL发散可能为无穷大）时，平滑或修改后的IPM的表现如何？
• RQ5 在实际GAN中，IPM训练损失与真实分布多样性之间存在哪些理论与实证关系？

主要发现

• 具有限逼近性的鉴别器可通过W_F界定Wasserstein距离，当p和q在W1上接近时，确保多样性。
• 对于高斯生成器，一层ReLU鉴别器足以实现W1(高斯)界限，Rademacher复杂度按所述（在常数范围内）放缩。
• 对于指数族，充分统计量的线性泛函提供将W_F与KL发散（以及在几何条件下的W1）联系起来的界限。
• 对于神经网络生成器，特别是可逆网络，具有一层额外层的鉴别器可实现W1(p,q)^2 <= W_F(p,q) <= W1(p,q)直至多项因子，且泛化界限随1/√n衰减。
• 对于单射神经网络生成器（流形），一个平滑化的IPM tilde d_F 提供一个代理，其仍被Wasserstein距离夹在中间，且泛化具有多项式界限。
• 在合成二维数据上的实验表明，IPM在适用设定下与Wasserstein距离和KL发散相关，暗示在多样性不足的原因是优化难度，而非统计无效性。