[论文解读] Investigating Under and Overfitting in Wasserstein Generative Adversarial Networks

Ben Adlam, Charles Weill+1 more|arXiv (Cornell University)|Oct 30, 2019

Generative Adversarial Networks and Image Synthesis参考文献 19被引用 9

一句话总结

本文通过引入辅助判别器和独立判别器来衡量泛化能力，研究了Wasserstein GAN中的欠拟合与过拟合问题。研究发现，生成器质量强烈依赖于判别器容量，即使判别器欠拟合，也未发现生成器存在过拟合的证据，表明判别器泛化能力差并不会降低生成器性能。

ABSTRACT

We investigate under and overfitting in Generative Adversarial Networks (GANs), using discriminators unseen by the generator to measure generalization. We find that the model capacity of the discriminator has a significant effect on the generator's model quality, and that the generator's poor performance coincides with the discriminator underfitting. Contrary to our expectations, we find that generators with large model capacities relative to the discriminator do not show evidence of overfitting on CIFAR10, CIFAR100, and CelebA.

研究动机与目标

• 研究模型容量与泛化能力如何影响Wasserstein GAN中生成器的质量。
• 使用生成器未见过的判别器来衡量GAN中的过拟合与欠拟合。
• 评估当判别器无法泛化时，生成器性能是否会下降。
• 评估FID与CIFAR10、CIFAR100和CelebA上判别器发散度之间的相关性。

提出的方法

• 引入一个在真实数据与生成样本上训练的辅助判别器，以独立于原始判别器的方式度量生成器发散度。
• 部署一个架构固定的独立判别器（64个通道），用于评估不同生成器与判别器容量下的泛化能力。
• 使用这些判别器测量的真实数据与生成数据之间的发散度作为模型质量的代理指标。
• 采用FID作为标准度量指标，以验证基于判别器的发散度测量的可靠性。
• 通过比较训练集与测试集的发散度，检测生成器与判别器的过拟合现象。
• 通过分析不同类型判别器在训练集与测试集之间发散度的差异，评估泛化差距。

实验结果

研究问题

• RQ1 当判别器欠拟合时，特别是当判别器无法泛化到测试集时，生成器是否会发生过拟合？
• RQ2 生成器与判别器之间的相对模型容量如何影响生成器质量与泛化能力？
• RQ3 辅助判别器与独立判别器能否提供可靠且可泛化的生成器性能度量，并与FID保持强相关性？
• RQ4 当判别器过参数化或欠参数化时，是否存在生成器过拟合的证据？
• RQ5 与辅助判别器和独立判别器相比，原始判别器测量的发散度在与实际模型质量的相关性方面表现如何？

主要发现

• 生成器的模型质量显著受判别器模型容量的影响，当判别器足够复杂时，性能更优。
• 原始判别器通常无法泛化，在训练集与测试集之间表现出较大的或不一致的泛化差距，但生成器性能依然良好。
• 即使原始判别器欠拟合，使用独立判别器或FID评估时，也未观察到生成器存在过拟合现象。
• 辅助判别器与独立判别器表现出一致且较低的泛化差距，其发散度在CIFAR10与CIFAR100上与FID具有强相关性。
• 在CelebA数据集上，随着判别器通道数的增加，独立判别器的发散度降低，且泛化差距保持稳定。
• 原始判别器测量的发散度与生成器质量无关，而辅助判别器与独立判别器的发散度则相关，表明它们是更可靠的模型评估代理指标。