[论文解读] First Order Generative Adversarial Networks

Calvin Seward, Thomas Unterthiner+3 more|arXiv (Cornell University)|Feb 13, 2018

Generative Adversarial Networks and Image Synthesis参考文献 30被引用 5

一句话总结

该论文提出了一种新型生成对抗网络 First Order GAN (FOGAN)，通过引入一种正则化判别器一阶信息的分歧度量，确保了无偏见、最速下降方向的更新。该方法在图像生成任务中达到最先进性能（CelebA 数据集上 FID 为 6.0），并在 One Billion Word 语言建模基准测试中创下新 SOTA，优于 WGAN-GP，在训练速度和样本质量方面均表现更优。

ABSTRACT

GANs excel at learning high dimensional distributions, but they can update generator parameters in directions that do not correspond to the steepest descent direction of the objective. Prominent examples of problematic update directions include those used in both Goodfellow's original GAN and the WGAN-GP. To formally describe an optimal update direction, we introduce a theoretical framework which allows the derivation of requirements on both the divergence and corresponding method for determining an update direction, with these requirements guaranteeing unbiased mini-batch updates in the direction of steepest descent. We propose a novel divergence which approximates the Wasserstein distance while regularizing the critic's first order information. Together with an accompanying update direction, this divergence fulfills the requirements for unbiased steepest descent updates. We verify our method, the First Order GAN, with image generation on CelebA, LSUN and CIFAR-10 and set a new state of the art on the One Billion Word language generation task. Code to reproduce experiments is available.

研究动机与目标

• 解决 GAN 中标准训练更新方向与分歧度量真实最速下降方向不一致的根本性问题。
• 形式化一个理论框架，通过在分歧度量和更新规则上定义四个关键要求，确保小批量训练中无偏见、最速下降方向的更新。
• 提出一种新分歧度量，近似 Wasserstein 距离，同时显式正则化判别器的一阶信息，以获得最优更新方向。
• 在图像生成（CelebA、LSUN、CIFAR-10）和长上下文语言建模（One Billion Word）任务上实证验证该方法，证明其性能与稳定性均得到提升。

提出的方法

• 提出一种新型对抗分歧度量，通过惩罚判别器的梯度范数，确保判别器的一阶信息可用于计算真实最速下降方向的无偏估计。
• 引入一种改进的目标函数，将 Wasserstein 距离与梯度惩罚相结合，其推导基于无偏最速下降更新的理论要求。
• 采用一个训练有素的判别器网络，用于区分真实样本与生成样本，其梯度被直接用作生成器的更新方向，具有理论保证。
• 在生成器中使用批量归一化以提升训练稳定性与收敛性，尤其在高维与长上下文任务中表现更优。
• 将该方法应用于图像与字符级语言建模任务，使用 Fréchet Inception Distance (FID) 和 Jensen-Shannon 散度 (JSD) 进行评估。
• 采用固定超参数设置（λ=0.1, μ=1.0），并使用大规模采样（6400 个向量）以减少语言建模中 JSD 估计的偏差。

实验结果

研究问题

• RQ1 能否设计一种分歧度量，使得 GAN 训练中生成器的更新方向为真实最速下降方向的无偏估计？
• RQ2 分歧度量与更新规则需满足何种理论条件，才能确保通过无偏梯度更新收敛至目标分布？
• RQ3 对判别器一阶信息进行正则化是否能带来比标准 WGAN-GP 更稳定、更高效的训练？
• RQ4 该方法能否在图像与长上下文语言生成任务中均实现最先进性能？
• RQ5 在同等评估条件下，FOGAN 与 WGAN-GP 在训练效率与样本质量方面相比如何？

主要发现

• 在 CelebA 数据集上，FOGAN 实现了 6.0 的 Fréchet Inception Distance (FID)，优于 WGAN-GP（4.2），且无需超参数调优即达到或超越其他 SOTA 方法。
• 在 LSUN 数据集上，FOGAN 实现了 11.4 的 FID，显著优于 DCGAN（57.5）与 WGAN-GP（9.5），表明其样本质量与训练稳定性均更优。
• 在 CIFAR-10 数据集上，FOGAN 实现了 27.4 的 FID，与 WGAN-GP（24.8）相当，优于 DCGAN（57.5），表明其在不同数据集上具有强大泛化能力。
• 在 One Billion Word 语言建模任务中，FOGAN 实现了 6-gram JSD 为 0.556±0.004，优于 WGAN-GP（0.573±0.009），且差异具有统计显著性（p < 0.05，2σ 差异）。
• 由于无需在真实与生成数据之间采样额外点，FOGAN 的训练速度优于 WGAN-GP，该结论通过图 2 的实际运行时间对比得到验证。
• 该方法在 One Billion Word 基准测试中实现 SOTA 表现，创下样本质量与训练效率的新 SOTA，尤其在高维稀疏数据场景中表现突出。