[论文解读] Designing GANs: A Likelihood Ratio Approach

Kalliopi Basioti, George V. Moustakides|arXiv (Cornell University)|Feb 3, 2020

Model Reduction and Neural Networks参考文献 28被引用 5

一句话总结

本文提出了一种基于似然比的生成对抗网络（GAN）设计方法论，通过简单的φ和ψ标量函数配方推导损失函数，确保训练的一致性。关键贡献是提出了一种新的在线度量——似然比，可实现实时监控GAN的收敛性和稳定性，揭示了某些损失函数（如A1a、A1b、A2、MSE）在CelebA和CIFAR-10等复杂数据集上优于其他损失函数。

ABSTRACT

We are interested in the design of generative networks. The training of these mathematical structures is mostly performed with the help of adversarial (min-max) optimization problems. We propose a simple methodology for constructing such problems assuring, at the same time, consistency of the corresponding solution. We give characteristic examples developed by our method, some of which can be recognized from other applications, and some are introduced here for the first time. We present a new metric, the likelihood ratio, that can be employed online to examine the convergence and stability during the training of different Generative Adversarial Networks (GANs). Finally, we compare various possibilities by applying them to well-known datasets using neural networks of different configurations and sizes.

研究动机与目标

• 开发一种系统化、一致的GAN极小化-极大化优化问题构建方法，确保收敛到正确的生成器分布。
• 通过从统一框架推导损失函数，解决无需额外优化即可识别有效GAN损失函数的挑战。
• 提出一种新的、可在线测量的度量——似然比，用于评估训练过程中的收敛性和稳定性。
• 在多种数据集上评估和比较不同的GAN损失函数，识别出随着数据复杂性增加而显现的性能差距。
• 证明在所提类别中尚未探索的损失函数可优于现有方法，尤其在复杂数据集上表现更优。

提出的方法

• 提出通用的极小化-极大化优化框架：min_G max_D J(G,D) = E_x~f[φ(D(x))] + E_z~h[ψ(D(G(z)))], 其中φ和ψ为定义损失的标量函数。
• 通过测度变换和变量替换，建立GAN优化与基于密度问题的等价关系：min_g max_D {E_x~f[φ(D(x))] + E_x~f[r(x)ψ(D(x))]}。
• 引入似然比函数 r(x) = g(x)/f(x) 作为关键度量，可从真实样本和生成样本在线估计，用于监控收敛性。
• 推导出最优解 G(z) 将 z ~ h(z) 映射到 y = G(z) ~ f(y) 的条件，确保生成器的一致性。
• 采用不同架构的神经网络，使用不同的φ和ψ组合训练GAN，通过FID和KID分数评估性能。
• 利用似然比函数分析训练动态，实现实时识别稳定与发散行为。

实验结果

研究问题

• RQ1 能否开发一种统一、系统化的方法，无需为损失设计额外优化，即可构建一致的GAN训练目标？
• RQ2 似然比函数如何在GAN训练过程中在线估计，以作为可靠的收敛性和稳定性度量？
• RQ3 不同GAN损失函数在不同数据集复杂度下是否表现出不同的性能？如果是，哪些损失函数在CelebA和CIFAR-10等复杂数据集上表现最佳？
• RQ4 在所提框架中尚未探索的损失函数能否优于现有的损失函数，如铰链损失或Wasserstein GAN？
• RQ5 梯度惩罚中的超参数λ是否影响长期训练稳定性？能否通过优化λ来延迟发散而不改善最终的FID/KID分数？

主要发现

• 在CelebA和CIFAR-10等复杂数据集上，Subclass A1a、A1b、A2和MSE损失函数在FID和KID分数上始终优于其他GAN变体。
• 对于仅包含约8,000张样本的Stanford Cars数据集，不同损失函数之间的性能差距变得明显，其中A类损失表现出更优的稳定性和质量。
• B2、指数分布和交叉熵GAN的似然比函数收敛至1（除MNIST外），表明收敛；但交叉熵损失显示更高的方差，提示存在不稳定性。
• Wasserstein GAN在λ=10时出现更早的发散（约150,000次迭代），而λ=0.01时发散时间更晚（约380,000次迭代），但所有方法均达到相似的最佳FID/KID分数。
• 尽管收敛更快，交叉熵GAN的似然比方差更高，提示可能存在不稳定性，可通过降低学习率缓解。
• 似然比度量实现了对训练发散的实时检测，似然比偏离1后，生成样本中开始出现模糊和失真图像。