[论文解读] Lipschitz Generative Adversarial Nets

Zhiming Zhou, Jiadong Liang+6 more|arXiv (Cornell University)|Feb 15, 2019

Generative Adversarial Networks and Image Synthesis参考文献 24被引用 38

一句话总结

本文通过对判别器的 Lipschitz 常数进行惩罚，引入 Lipschitz GANs (LGANs)，证明最优判别器的存在性/唯一性和纳什均衡，并显示相比 WGAN 在稳定性和样本质量方面的提升，具有广泛的实证验证。

ABSTRACT

In this paper, we study the convergence of generative adversarial networks (GANs) from the perspective of the informativeness of the gradient of the optimal discriminative function. We show that GANs without restriction on the discriminative function space commonly suffer from the problem that the gradient produced by the discriminator is uninformative to guide the generator. By contrast, Wasserstein GAN (WGAN), where the discriminative function is restricted to 1-Lipschitz, does not suffer from such a gradient uninformativeness problem. We further show in the paper that the model with a compact dual form of Wasserstein distance, where the Lipschitz condition is relaxed, may also theoretically suffer from this issue. This implies the importance of Lipschitz condition and motivates us to study the general formulation of GANs with Lipschitz constraint, which leads to a new family of GANs that we call Lipschitz GANs (LGANs). We show that LGANs guarantee the existence and uniqueness of the optimal discriminative function as well as the existence of a unique Nash equilibrium. We prove that LGANs are generally capable of eliminating the gradient uninformativeness problem. According to our empirical analysis, LGANs are more stable and generate consistently higher quality samples compared with WGAN.

研究动机与目标

• 动机并分析 GANs 中的梯度信息性，并将梯度信息不足识别为核心训练难点。
• 提出 LGANs 在判别器目标中加入 Lipschitz 惩罚项以强化判别器的正则性。
• 在 Lipschitz 约束下建立最优判别器的存在性与唯一性以及唯一的纳什均衡。
• 表明 LGANs 能消除梯度信息不足并引导生成器朝真实分布前进。
• 提供实证证据，显示相较于 WGAN 的稳定性和更高质量的样本生成。

提出的方法

• 将 LGANs 定义为在判别器目标中加入 Lipschitz 惩罚项 lambda * k(f)^2。
• 采用温和的损失函数条件：phi' > 0, varphi' < 0, 二阶导数非负，以及存在一个点 a，使 phi'(a)+varphi'(a)=0。
• 在这些损失和 Lipschitz 惩罚下证明 f* 的存在性/唯一性（定理 1）。
• 表征 LGANs 下的界限关系和梯度方向（定理 2-4）。
• 讨论实际的正则化方法，如 MaxGP，直接对 Lipschitz 常数惩罚（采样插值与最大梯度）。
• 进行经验分析，将 LGANs 与 WGAN 进行对比，包括梯度行为、稳定性以及无监督图像生成基准。

实验结果

研究问题

• RQ1 Lipschitz 约束是否解决 GAN 判别器中的梯度信息不足，并确保生成器更新具有信息性？
• RQ2 LGANs 能否保证最优判别器的存在性/唯一性以及连接 P_r 与 P_g 的唯一纳什均衡？
• RQ3 LGANs 是否在标准基准测试中比基于 Wasserstein 的 GAN 具有更稳定的训练和更高质量的样本？

主要发现

• 在温和的损失条件和 Lipschitz 惩罚下，LGANs 实现最优判别函数的存在性与唯一性（定理 1）。
• LGANs 建立一个唯一的纳什均衡，当 P_r = P_g 且 Lipschitz 常数 k(f*) = 0（定理 2 与 4）。
• 在 LGANs 下，最优判别器给出的生成样本梯度方向指向真实样本，减轻梯度信息不足（定理 2-4）。
• 实证结果显示，LGANs 在无监督图像生成任务中普遍更稳定、产生更高质量的样本，相较于 WGAN，且多种损失选择表现良好（表 2）。
• MaxGP 及相关的 Lipschitz 感知惩罚有助于稳定训练，在实践中可优于其他正则化方法（MaxGP 讨论）。
• 使用多种 phi/varphi 损失（包括 exp、-log(sigma(-x))、以及 x+sqrt(x^2+1)）的 LGANs 在 CIFAR-10 和 Tiny ImageNet 上获得有利的 IS/FID 分数。