[论文解读] Is Generator Conditioning Causally Related to GAN Performance?

Augustus Odena, Jacob Buckman+5 more|arXiv (Cornell University)|Feb 23, 2018

Model Reduction and Neural Networks参考文献 30被引用 50

一句话总结

本文研究 GAN 生成器的雅可比矩阵条件数，发现其与 Inception Score 和 FID 相关，并提出 Jacobian Clamping 以提升并稳定 GAN 性能。

ABSTRACT

Recent work (Pennington et al, 2017) suggests that controlling the entire distribution of Jacobian singular values is an important design consideration in deep learning. Motivated by this, we study the distribution of singular values of the Jacobian of the generator in Generative Adversarial Networks (GANs). We find that this Jacobian generally becomes ill-conditioned at the beginning of training. Moreover, we find that the average (with z from p(z)) conditioning of the generator is highly predictive of two other ad-hoc metrics for measuring the 'quality' of trained GANs: the Inception Score and the Frechet Inception Distance (FID). We test the hypothesis that this relationship is causal by proposing a 'regularization' technique (called Jacobian Clamping) that softly penalizes the condition number of the generator Jacobian. Jacobian Clamping improves the mean Inception Score and the mean FID for GANs trained on several datasets. It also greatly reduces inter-run variance of the aforementioned scores, addressing (at least partially) one of the main criticisms of GANs.

研究动机与目标

• 通过生成器的雅可比矩阵激发对 GAN 训练动力学的理解。
• 研究雅可比矩阵条件数与公认的 GAN 质量指标（Inception Score 和 FID）之间的关系。
• 提出一种因果干预来控制雅可比矩阵条件数并评估其对 GAN 性能的影响。

提出的方法

• 计算生成器雅可比 J_z 在 z 上的平方奇异值分布。
• 使用 M_z = J_z^T J_z 的条件数作为局部几何和条件的摘要。
• 经验性地将平均对数条件数与 Inception Score 和 FID 在 MNIST、CIFAR-10 与 STL-10 数据集上的关系进行相关分析。
• 提出并实现 Jacobian Clamping 以在训练期间约束雅可比矩阵条件数。
• 通过比较有无 Jacobian Clamping 的 GAN 运行来进行干预研究。
• 评估 Jacobian Clamping 如何与其他 GAN 技术和设置相互作用。

实验结果

研究问题

• RQ1 在不同数据集上，生成器雅可比条件是否与 Inception Score 和 FID 相关？
• RQ2 是否存在证据表明改善生成器条件会因果地提高 GAN 性能？
• RQ3 一种简单的正则化方法（Jacobian Clamping）是否能够约束条件数并降低不同训练运行之间的分数方差？

主要发现

• 生成器雅可比条件数在训练初期通常变得条件数很差。
• 更强的条件数在 MNIST、CIFAR-10 与 STL-10 上与更高的 Inception Score 和更低的 FID 相关。
• Jacobian Clamping 减少了跨运行的方差，并在若干数据集上提升了平均 Inception Score 和平均 FID。
• Jacobian Clamping 使许多运行避免进入条件数较差的聚类，通常保留更好的分数。
• 该干预提供了支持条件数与 GAN 性能之间因果联系的证据。
• Jacobian Clamping 通过在获得可比分数的前提下减少判别器更新次数，可以加速最先进模型的训练。