[论文解读] How to Train Your DRAGAN

Naveen Kodali, Jacob Abernethy+2 more|arXiv (Cornell University)|May 19, 2017

Generative Adversarial Networks and Image Synthesis参考文献 7被引用 34

一句话总结

本文提出 DRAGAN，一种 GAN 训练算法，通过最小化遗憾来稳定训练并避免模式崩溃，从而解决非凸博弈中的虚假局部均衡问题。该方法在 MNIST、CIFAR-10 和 CelebA 上实现了最先进性能，且超参数调优极少，并优于近期的 WGAN 变体。

ABSTRACT

Generative Adversarial Networks have emerged as an effective technique for estimating data distributions. The basic setup consists of two deep networks playing against each other in a zero-sum game setting. However, it is not understood if the networks reach an equilibrium eventually and what dynamics makes this possible. The current GAN training procedure, which involves simultaneous gradient descent, lacks a clear game-theoretic justification in the literature. In this paper, we introduce regret minimization as a technique to reach equilibrium in games and use this to justify the success of simultaneous GD in GANs. In addition, we present a hypothesis that mode collapse, which is a common occurrence in GAN training, happens due to the existence of spurious local equilibria in non-convex games. Motivated by these insights, we develop an algorithm called DRAGAN that is fast, simple to implement and achieves competitive performance in a stable fashion across different architectures (150 random setups), datasets (MNIST, CIFAR-10, and CelebA), and divergence measures with almost no hyperparameter tuning. We show significant improvements over the recently proposed Wasserstein GAN variants.

研究动机与目标

• 理解 GAN 训练的理论基础，特别是为何尽管缺乏博弈论的正式依据，同时梯度下降仍能成功。
• 探究 GAN 中模式崩溃的原因，假设其源于非凸博弈中的虚假局部均衡。
• 开发一种简单且鲁棒的训练算法，实现在多种架构、数据集和分歧度量下的稳定、高质量生成。
• 通过减少超参数敏感性并提升训练稳定性和性能，改进现有 WGAN 变体。

提出的方法

• 将博弈论中的遗憾最小化技术应用于 GAN 中的同步梯度下降过程，以提供理论依据并加以改进。
• 提出 DRAGAN 作为训练算法，通过修改 GAN 目标函数，降低收敛至虚假局部均衡的可能性。
• 采用简单的架构修改，在无需复杂超参数调优的情况下稳定训练动态。
• 结合梯度更新与基于遗憾的优化，以促进探索并避免模式崩溃。
• 在 MNIST、CIFAR-10 和 CelebA 上，通过 150 种随机训练设置，使用多种分歧度量验证该方法。

实验结果

研究问题

• RQ1 为何 GAN 中的同步梯度下降尽管缺乏正式的博弈论基础，仍能实现稳定训练？
• RQ2 GAN 中的模式崩溃由何引起，是否可归因于非凸博弈中的虚假局部均衡？
• RQ3 遗憾最小化能否有效应用于 GAN 训练，以提升稳定性和性能？
• RQ4 DRAGAN 在样本质量和训练稳定性方面与最先进 WGAN 变体相比如何？

主要发现

• DRAGAN 在 MNIST、CIFAR-10 和 CelebA 上几乎无需超参数调优即可实现具有竞争力的性能。
• 该算法在 150 种随机架构和超参数设置下均表现出稳定训练，表明其鲁棒性。
• DRAGAN 在训练稳定性和样本质量方面显著优于近期提出的 Wasserstein GAN 变体。
• 遗憾最小化的应用有助于避免虚假局部均衡，从而减少 GAN 训练中模式崩溃的发生。