[论文解读] GAN-QP: A Novel GAN Framework without Gradient Vanishing and Lipschitz Constraint

Jianlin Su|arXiv (Cornell University)|Nov 18, 2018

Adversarial Robustness in Machine Learning参考文献 12被引用 25

一句话总结

该论文提出 GAN-QP，一种新型 GAN 框架，无需对判别器施加 1-Lipschitz 约束即可消除梯度消失问题。通过在对偶空间中直接构建一种新型散度——QP-div，GAN-QP 在判别器损失中使用二次惩罚项以稳定训练，实现了最先进的 FID 分数（256×256 时为 22.7），且无需梯度惩罚或谱归一化，样本质量更优。

ABSTRACT

We know SGAN may have a risk of gradient vanishing. A significant improvement is WGAN, with the help of 1-Lipschitz constraint on discriminator to prevent from gradient vanishing. Is there any GAN having no gradient vanishing and no 1-Lipschitz constraint on discriminator? We do find one, called GAN-QP. To construct a new framework of Generative Adversarial Network (GAN) usually includes three steps: 1. choose a probability divergence; 2. convert it into a dual form; 3. play a min-max game. In this articles, we demonstrate that the first step is not necessary. We can analyse the property of divergence and even construct new divergence in dual space directly. As a reward, we obtain a simpler alternative of WGAN: GAN-QP. We demonstrate that GAN-QP have a better performance than WGAN in theory and practice.

研究动机与目标

• 为解决 GAN 中长期存在的梯度消失问题，尤其是标准 GAN（SGAN）和 f-GAN 中的问题。
• 消除 GAN 训练中对显式 1-Lipschitz 约束或梯度惩罚的需求，这些约束在 WGAN 等框架中虽常见但具有限制性。
• 证明概率散度可直接在对偶空间中构造与分析，而无需依赖原始散度定义。
• 开发一种更简单、更稳定的 GAN 框架——GAN-QP，其在理论与实践上均优于现有方法。
• 验证 GAN-QP 在更高分辨率（最高达 512×512）以及双向生成（BiGAN-QP）中的鲁棒性与可扩展性。

提出的方法

• 提出一种新散度 QP-div，直接在对偶空间中定义，无需依赖原始概率散度的定义。
• 通过在判别器损失中引入二次惩罚项，构建 GAN-QP 框架，形式化为一个最大-最小博弈：$ \text{max}_T \text{E}[T(x_r) - T(x_f) - \frac{(T(x_r) - T(x_f))^2}{2\tau d(x_r, x_f)}] $，其中 $ \tau $ 为可学习或自适应的超参数。
• 使用真实样本与生成样本之间的距离度量 $ d(x_r, x_f) $（L1 或 L2 范数）来缩放惩罚项。
• 采用简单的单输入判别器 $ T(x) $，表明联合输入真实与生成样本对性能并非必需。
• 引入一个超参数 $ \tau $，其与图像分辨率成反比：对于 L1，$ \tau = 10 / (w h c) $；对于 L2，$ \tau = 10 / \text{sqrt}(w h c) $。
• 将相同的训练流程应用于 BiGAN 变体（BiGAN-QP），为生成器与编码器同时引入重建损失。

实验结果

研究问题

• RQ1 能否设计一种 GAN 框架，无需依赖 1-Lipschitz 约束或梯度惩罚，同时保持稳定与高效？
• RQ2 是否可能直接在对偶空间中定义并使用一种新概率散度，而无需从原始散度推导？
• RQ3 所提出的 QP-div 散度是否能消除 GAN 中的梯度消失问题，特别是在高维或交集较小的数据设置下？
• RQ4 与 WGAN-GP、WGAN-SN 和 SGAN-SN 相比，GAN-QP 在 FID 分数、训练稳定性与推理速度方面表现如何？
• RQ5 GAN-QP 是否能推广至更高分辨率（256×256、512×512）并扩展至类似 BiGAN 的双向模型？

主要发现

• 在 256×256 CIFAR-10 上，GAN-QP 的最终 FID 达到 22.7，优于 SGAN-SN（27.9）与 WGAN-GP（55.5），表明其样本质量更优。
• 在 128×128 分辨率下，GAN-QP-L1 与 GAN-QP-L2 的 FID 分别为 45.0 与 44.7，位列所有对比方法中的第二名。
• 该模型对距离度量的选择具有鲁棒性，L1 与 L2 范数之间无显著性能差异。
• GAN-QP 在无需梯度惩罚或谱归一化的情况下保持了稳定训练，且训练速度与其它方法相当（相对于基线为 1x 速度）。
• BiGAN-QP 变体在 256×256 分辨率下成功重建真实图像，证实该方法适用于解耦表征学习。
• 在 512×512 分辨率下，GAN-QP 经过单张 GTX 1080Ti 上 2 天的训练后，最终 FID 达到 26.64，表明其具备高分辨率生成的可扩展性。