[论文解读] Implicit competitive regularization in GANs

Florian Schaefer, Hongkai Zheng+1 more|arXiv (Cornell University)|Oct 13, 2019

Reinforcement Learning in Robotics被引用 6

一句话总结

本文认为，GAN的成功并非源于显式的分歧最小化，而是源于隐式竞争正则化（ICR）——一种在生成器与判别器同时训练过程中动态涌现的正则化效应。通过使用增强ICR的对抗梯度下降（CGD）方法，作者在CIFAR10上实现了SOTA的inception分数，且无需任何显式正则化，其性能甚至优于未进行超参数调优的Adam优化器训练的WGAN-GP。

ABSTRACT

To improve the stability of GAN training we need to understand why they can produce realistic samples. Presently, this is attributed to properties of the divergence obtained under an optimal discriminator. This argument has a fundamental flaw: If we do not impose regularity of the discriminator, it can exploit visually imperceptible errors of the generator to always achieve the maximal generator loss. In practice, gradient penalties are used to regularize the discriminator. However, this needs a metric on the space of images that captures visual similarity. Such a metric is not known, which explains the limited success of gradient penalties in stabilizing GANs. We argue that the performance of GANs is instead due to the implicit competitive regularization (ICR) arising from the simultaneous optimization of generator and discriminator. ICR promotes solutions that look real to the discriminator and thus leverages its inductive biases to generate realistic images. We show that opponent-aware modelling of generator and discriminator, as present in competitive gradient descent (CGD), can significantly strengthen ICR and thus stabilize GAN training without explicit regularization. In our experiments, we use an existing implementation of WGAN-GP and show that by training it with CGD we can improve the inception score (IS) on CIFAR10 for a wide range of scenarios, without any hyperparameter tuning. The highest IS is obtained by combining CGD with the WGAN-loss, without any explicit regularization.

研究动机与目标

• 挑战GAN的广泛接受的极小极大解释，该解释将GAN的成功归因于最优判别器下的特定分歧。
• 指出极小极大方法的根本缺陷：在缺乏正则性约束的情况下，判别器可利用生成器的不可察觉误差以实现最大损失，从而使分歧无法有效比较生成器的质量。
• 提出隐式竞争正则化（ICR）——一种由生成器与判别器同时训练所引发的动态、涌现效应——是GAN性能真正驱动因素。
• 证明对手感知的训练方法（如对抗梯度下降，CGD）可显著增强ICR，从而在无需显式正则化的情况下提升训练稳定性和图像质量。
• 通过实证验证，CGD结合WGAN-GP损失的训练在未进行超参数调优的情况下，其inception分数和FID均优于标准的Adam优化器训练。

提出的方法

• 提出隐式竞争正则化（ICR）作为一种机制，源于生成器与判别器的同步优化，形成在固定玩家设置中不存在的稳定训练点。
• 将ICR形式化为由于竞争互动而产生的稳定训练动态，而非局部纳什均衡，并认为这是克服GAN困境的关键。
• 使用对抗梯度下降（CGD）作为训练算法，通过显式建模对手的优化动态来增强ICR。
• 将CGD应用于WGAN-GP，并使用原始的饱和GAN损失，避免梯度惩罚和权重衰减，以隔离ICR的影响。
• 使用inception分数（IS）和Frechet Inception Distance（FID）评估性能，对比CGD与CIFAR10上标准的Adam训练方法。
• 在OGAN和WGAN-GP上进行消融研究，评估CGD在不同正则化条件下的鲁棒性，包括无正则化和ℓ2权重衰减。

实验结果

研究问题

• RQ1 为何GAN在缺乏显式正则化的情况下仍能泛化良好，且为何常见分歧无法解释其成功？
• RQ2 生成器与判别器之间的动态交互（超越静态极小极大目标）能否解释GAN的性能？
• RQ3 隐式竞争正则化（ICR）是否在同步训练中自然涌现，且能否在无显式正则化的情况下稳定GAN？
• RQ4 对手感知的优化方法（如CGD）能否放大ICR，并带来优于标准优化的GAN训练效果？
• RQ5 在CGD训练中完全不使用显式正则化，其图像质量是否仍优于如Adam结合WGAN-GP的标准方法？

主要发现

• 使用对抗梯度下降（CGD）训练WGAN-GP且不加任何显式正则化，其在CIFAR10上的inception分数高于所有其他测试组合，包括使用梯度惩罚或权重衰减的设置。
• CGD带来的性能提升在各项指标上均一致：Frechet Inception Distance（FID）也显著降低，证实了图像质量的提升。
• 即使在使用原始的饱和GAN损失（该损失导致Adam完全失效）的情况下，CGD仍保持稳定，并在inception分数上优于Adam。
• ACGD（加速CGD）在所有模型和迭代次数上系统性地优于Adam，仅在极端情况（如无正则化的OGAN）下出现罕见的非收敛现象。
• ACGD与Adam的inception分数差异在整个训练过程中始终保持正值，表明ACGD始终优于Adam，极少出现表现更差的情况。
• 结果表明，通过CGD增强的隐式竞争正则化（ICR）是GAN成功的关键因素，暗示同步训练的动力学机制比损失函数选择或显式正则化更为关键。