[论文解读] Cumulant GAN.

Yannis Pantazis, Dipjyoti Paul+3 more|arXiv (Cornell University)|Jun 11, 2020

Generative Adversarial Networks and Image Synthesis参考文献 62被引用 4

一句话总结

该论文提出Cumulant GAN，一种基于累积量生成函数的新型GAN损失函数，统一了Rényi散度最小化，涵盖KLD、反向KLD、Hellinger距离和χ²散度。在使用线性判别器和高斯数据时，证明了标准梯度下降上升法下线性收敛至纳什均衡。与Wasserstein GAN相比，该方法在Inception Score和Fréchet Inception Distance指标上表现出更优的图像生成稳定性和性能。

ABSTRACT

In this paper, we propose a novel loss function for training Generative Adversarial Networks (GANs) aiming towards deeper theoretical understanding as well as improved stability and performance for the underlying optimization problem. The new loss function is based on cumulant generating functions giving rise to \emph{Cumulant GAN}. Relying on a recently-derived variational formula, we show that the corresponding optimization problem is equivalent to R{\'e}nyi divergence minimization, thus offering a (partially) unified perspective of GAN losses: the R{\'e}nyi family encompasses Kullback-Leibler divergence (KLD), reverse KLD, Hellinger distance and $\chi^2$-divergence. Wasserstein GAN is also a member of cumulant GAN. In terms of stability, we rigorously prove the linear convergence of cumulant GAN to the Nash equilibrium for a linear discriminator, Gaussian distributions and the standard gradient descent ascent algorithm. Finally, we experimentally demonstrate that image generation is more robust relative to Wasserstein GAN and it is substantially improved in terms of both inception score and Fr\'echet inception distance when both weaker and stronger discriminators are considered.

研究动机与目标

• 开发一种理论基础坚实的GAN损失函数，以提升训练稳定性和性能。
• 通过变分公式将现有GAN损失统一于Rényi散度框架下。
• 为GAN训练中的优化过程建立理论收敛保证。
• 通过实证验证在不同判别器强度下的生成质量提升。

提出的方法

• 该方法采用从累积量生成函数推导出的变分公式，定义一种新型GAN损失函数。
• 证明该损失函数等价于最小化Rényi散度，统一了多种现有GAN目标。
• 理论分析表明，在使用标准梯度下降上升法时，对于线性判别器和高斯数据，可实现线性收敛至纳什均衡。
• 该框架将Wasserstein GAN作为特例包含在内，扩展了其理论基础。
• 该方法可在弱判别器和强判别器下均实现稳定训练。
• 实证评估采用Inception Score和Fréchet Inception Distance来衡量图像生成质量。

实验结果

研究问题

• RQ1 能否基于累积量生成函数建立GAN损失的统一理论框架？
• RQ2 所提出的基于累积量的损失是否在标准训练动态下确保线性收敛至纳什均衡？
• RQ3 在图像质量指标方面，Cumulant GAN与Wasserstein GAN相比表现如何？
• RQ4 当使用较弱或较强的判别器时，该方法能否保持稳定并提升性能？
• RQ5 Rényi散度族是否被完全包含在所提出的Cumulant GAN框架中？

主要发现

• Cumulant GAN在Rényi散度最小化框架下统一了多种GAN损失，包括Kullback-Leibler散度、反向KLD、Hellinger距离和χ²散度。
• 该方法在标准梯度下降上升法下，对于线性判别器和高斯数据，证明了线性收敛至纳什均衡。
• 与Wasserstein GAN相比，Cumulant GAN在弱判别器和强判别器设置下均表现出更优的生成鲁棒性。
• Cumulant GAN在Inception Score和Fréchet Inception Distance指标上显著优于Wasserstein GAN。
• 形式上证明Wasserstein GAN是Cumulant GAN框架中的特例，扩展了其理论基础。
• 所提出的损失函数在无需架构修改的情况下，提升了训练稳定性和生成性能。