[论文解读] JR-GAN: Jacobian Regularization for Generative Adversarial Networks.

Weili Nie, Ankit Patel|arXiv (Cornell University)|Jun 24, 2018

Model Reduction and Neural Networks参考文献 34被引用 8

一句话总结

本文提出JR-GAN，一种新颖的GAN训练方法，通过同时缓解两种关键的Jacobian诱导收敛问题——相位因子（复特征值的虚部与实部比值较高）和条件因子（Jacobian条件数差）——来稳定训练。通过构建一种联合处理这两种因素的正则化方法，JR-GAN实现了高度稳定的训练，并在多个基准测试中达到最先进性能。

ABSTRACT

Generative adversarial networks (GANs) are notoriously difficult to train and the reasons for their (non-)convergence behaviors are still not completely understood. Using a simple GAN example, we mathematically analyze the local convergence behavior of its training dynamics in a non-asymptotic way. We find that in order to ensure a good convergence rate two factors of the Jacobian should be extit{simultaneously} avoided, which are (1) Phase Factor: the Jacobian has complex eigenvalues with a large imaginary-to-real ratio, (2) Conditioning Factor: the Jacobian is ill-conditioned. Previous methods of regularizing the Jacobian can only alleviate one of these two factors, while making the other more severe. From our theoretical analysis, we propose the Jacobian Regularized GANs (JR-GANs), which insure the two factors are alleviated by construction. With extensive experiments on several popular datasets, we show that the JR-GAN training is highly stable and achieves near state-of-the-art results both qualitatively and quantitatively.

研究动机与目标

• 通过在非渐近框架下分析GAN的局部训练动态，理解GAN的非收敛行为。
• 识别阻碍GAN训练收敛的两个关键Jacobian相关因素——相位与条件因子。
• 开发一种正则化方法，同时缓解这两个因素，克服以往方法仅解决其中一个因素的局限性。
• 证明所提出方法可实现稳定训练，并在标准数据集上取得最先进结果。

提出的方法

• 该方法引入一种新颖的Jacobian正则化项，显式控制生成器Jacobian矩阵的相位与条件因子。
• 正则化设计确保Jacobian的特征值在虚部与实部比值和条件数方面保持良好行为。
• 将正则化整合进GAN训练目标，通过修改生成器损失函数，促进优化过程中Jacobian特性的有利分布。
• 理论分析表明，所提出的正则化通过同时控制谱特性和条件特性，确保更优的局部收敛速率。
• 该方法在标准GAN框架中端到端应用，无需网络架构修改，具备广泛适用性。

实验结果

研究问题

• RQ1 导致GAN训练不稳定与收敛性差的关键Jacobian特性是什么？
• RQ2 为何现有Jacobian正则化方法无法完全稳定GAN训练？
• RQ3 能否通过单一正则化策略同时缓解Jacobian中的相位与条件因子？
• RQ4 所提出的正则化在多样化数据集上的训练稳定性与生成质量方面有何影响？

主要发现

• 所提出的JR-GAN方法通过联合控制生成器Jacobian的相位与条件因子，实现了高度稳定的训练动态。
• 实验表明，JR-GAN在训练稳定性和收敛速度方面优于现有正则化方法。
• 在多个基准数据集上，JR-GAN实现了接近最先进水平的Fréchet Inception Distance（FID）分数，证明了其优越的定量性能。
• 定性结果表明，JR-GAN能生成高保真度、多样化的样本，表明其在模式覆盖与图像质量方面均有提升。