[论文解读] A domain agnostic measure for monitoring and evaluating GANs

Paulina Grnarova, Kfir Y. Levy+5 more|arXiv (Cornell University)|Nov 13, 2018

Generative Adversarial Networks and Image Synthesis被引用 24

一句话总结

本文提出了一种基于博弈论中对偶间隙的领域无关 GAN 评估指标，能够可靠地监控训练过程并比较 GAN 模型，且无需标签或领域特定分类器。该方法通过采样数据高效估计对偶间隙和极小极大损失，在图像数据上与 FID 相关性显著，在文本、声音和宇宙学数据上与领域特定指标高度相关，同时能检测常见的失败模式，如模式崩溃和发散。

ABSTRACT

Generative Adversarial Networks (GANs) have shown remarkable results in modeling complex distributions, but their evaluation remains an unsettled issue. Evaluations are essential for: (i) relative assessment of different models and (ii) monitoring the progress of a single model throughout training. The latter cannot be determined by simply inspecting the generator and discriminator loss curves as they behave non-intuitively. We leverage the notion of duality gap from game theory to propose a measure that addresses both (i) and (ii) at a low computational cost. Extensive experiments show the effectiveness of this measure to rank different GAN models and capture the typical GAN failure scenarios, including mode collapse and non-convergent behaviours. This evaluation metric also provides meaningful monitoring on the progression of the loss during training. It highly correlates with FID on natural image datasets, and with domain specific scores for text, sound and cosmology data where FID is not directly suitable. In particular, our proposed metric requires no labels or a pretrained classifier, making it domain agnostic.

研究动机与目标

• 解决缺乏可靠、领域无关的 GAN 训练过程评估与监控指标的问题。
• 克服生成器和判别器损失曲线因 GAN 的极小极大特性而信息量不足的局限。
• 提供一种计算高效的替代方案，以替代 FID 和 Inception Score，且无需标签或预训练分类器。
• 检测常见的 GAN 失败模式，如模式崩溃、不收敛和样本质量差。
• 实现在图像、文本、音频和宇宙学数据等多样化数据模态间的一致模型比较。

提出的方法

• 该方法利用博弈论中的对偶间隙作为 GAN 极小极大博弈中次优性的度量，表示与均衡的距离。
• 仅通过真实样本和生成样本估计对偶间隙，避免了对完整生成器和判别器函数的显式访问。
• 通过从真实数据分布和生成数据分布中进行蒙特卡洛采样，对对偶间隙进行下界估计。
• 引入一种相关的极小极大度量，通过测量判别器对生成样本的置信度来仅评估生成器的性能。
• 在训练过程中应用该方法，实现实时监控收敛性并检测失败模式。
• 该方法在多个数据集和模态上得到验证，包括图像（CelebA、CIFAR-10）、文本（SeqGAN）、音频和宇宙学数据，且无需标签或预训练模型。

实验结果

研究问题

• RQ1 对偶间隙能否作为可靠、领域无关的指标，用于监控 GAN 训练过程？
• RQ2 在不同数据模态下，对偶间隙与 FID 和 Inception Score 等成熟指标的相关性如何？
• RQ3 对偶间隙和极小极大度量能否检测到常见的 GAN 失败模式，如模式崩溃和不收敛？
• RQ4 在模型比较任务中，所提出的指标是否优于或至少匹配依赖标签的指标（如 FID）？
• RQ5 对偶间隙在计算上是否高效且适用于实时训练监控？

主要发现

• 在图像数据集（如 CelebA 和 CIFAR-10）上，对偶间隙与 FID 相关性极高，显示出与成熟指标的强烈一致性。
• 在渐进式 GAN 和 SeqGAN 实验中，对偶间隙和极小极大度量成功检测到模式崩溃和不收敛行为。
• 在文本生成任务中，对偶间隙和极小极大值与负对数似然（nll-oracle 和 nll-test）高度相关，表明对样本质量具有敏感性。
• 对于 CIFAR-10，对偶间隙和极小极大度量与 FID 和 Inception Score 得到完全一致的模型排序，证实其在模型比较中的可靠性。
• 该方法无需标签或预训练分类器，因此可应用于非图像领域，如文本、音频和宇宙学数据。
• 对偶间隙计算高效，估计时间显著低于 FID（7.38 秒 vs. 120.50 秒），支持实时监控。