[论文解读] Discriminator Contrastive Divergence: Semi-Amortized Generative Modeling by Exploring Energy of the Discriminator

Yuxuan Song, Qiwei Ye+2 more|arXiv (Cornell University)|Apr 5, 2020

Generative Adversarial Networks and Image Synthesis参考文献 40被引用 10

一句话总结

本文提出判别器对比发散（DCD），一种半归约化生成建模方法，通过将Wasserstein GAN的判别器作为能量函数，利用Langevin动力学提升样本质量。通过从生成器输出初始化生成，并利用基于梯度的MCMC步骤对样本进行精炼，DCD在CIFAR-10上实现了新的SOTA指标（inception score 9.11，FID 16.24），显著优于基线GAN模型和现有后处理方法。

ABSTRACT

Generative Adversarial Networks (GANs) have shown great promise in modeling high dimensional data. The learning objective of GANs usually minimizes some measure discrepancy, extit{e.g.}, $f$-divergence~($f$-GANs) or Integral Probability Metric~(Wasserstein GANs). With $f$-divergence as the objective function, the discriminator essentially estimates the density ratio, and the estimated ratio proves useful in further improving the sample quality of the generator. However, how to leverage the information contained in the discriminator of Wasserstein GANs (WGAN) is less explored. In this paper, we introduce the Discriminator Contrastive Divergence, which is well motivated by the property of WGAN's discriminator and the relationship between WGAN and energy-based model. Compared to standard GANs, where the generator is directly utilized to obtain new samples, our method proposes a semi-amortized generation procedure where the samples are produced with the generator's output as an initial state. Then several steps of Langevin dynamics are conducted using the gradient of the discriminator. We demonstrate the benefits of significant improved generation on both synthetic data and several real-world image generation benchmarks.

研究动机与目标

• 为解决Wasserstein GAN中判别器信息未被充分利用的问题，尽管其在实践中表现优越，但缺乏有效利用其判别器以提升生成质量的方法。
• 提出一种可泛化的通用方法，将WGAN判别器转化为能量函数，以提升采样质量。
• 提出一种半归约化生成框架，通过结合生成器初始化与Langevin动力学的迭代精炼，实现速度与质量之间的平衡。
• 在合成数据和真实世界基准上进行实证验证，证明该方法在inception score和FID指标上均实现稳定提升。

提出的方法

• 将WGAN中的判别器解释为能量函数，从而支持基于梯度的MCMC采样。
• 样本从生成器的输出初始化，并通过多步Langevin动力学利用判别器的梯度进行精炼。
• 该方法以半归约化方式运行，其中生成器提供初始提议，判别器通过其梯度引导精炼过程。
• 该方法被应用于像素空间和潜在空间，消融实验表明后者性能更优。
• 训练过程被调整以保持WGAN的1-Lipschitz约束，确保精炼过程的稳定性。
• 采用标准指标进行评估：inception score和Fréchet Inception Distance（FID）

实验结果

研究问题

• RQ1 WGAN的判别器能否被有意义地重新用作能量函数以提升样本质量？
• RQ2 与直接从生成器采样相比，基于Langevin动力学的半归约化生成框架在质量与多样性方面表现如何？
• RQ3 通过MCMC利用判别器梯度是否能在标准基准上带来FID和inception score的可测量提升？
• RQ4 所提出的方法是否在不同数据集和架构（如CIFAR-10和STL-10）上具有泛化能力？

主要发现

• 在CIFAR-10上，DCD在潜在空间中应用时，实现了新的SOTA指标：inception score为9.11，FID为16.24，显著优于基线SNGAN及其他后处理方法。
• 在条件生成任务中，DCD在CIFAR-10上实现了15.05的FID，与BigGAN等大规模模型相当。
• 在STL-10上，DCD实现了9.33的inception score和17.68的FID，表明其在CIFAR-10之外也具有良好的泛化能力。
• 可视化结果表明，Langevin动力学过程生成的样本比直接从生成器采样更真实且更具多样性。
• 该方法在训练过程中减少了对抗性风格伪影的出现，暗示其在鲁棒性方面具有潜在优势。
• 半归约化设计允许在采样速度与生成质量之间进行可调制的权衡，必要时可优先保证质量。