[论文解读] An Improved Evaluation Framework for Generative Adversarial Networks

Shaohui Liu, Yi Wei+2 more|arXiv (Cornell University)|Mar 20, 2018

Generative Adversarial Networks and Image Synthesis参考文献 34被引用 41

一句话总结

本文提出一个领域特定编码器和 Class-Aware Frechet Distance (CAFD) 以改进 GAN 评估，结果表明 CAFD 和领域聚焦的特征优于 FID，并揭示 FID 与人类判断之间的不一致。

ABSTRACT

In this paper, we propose an improved quantitative evaluation framework for Generative Adversarial Networks (GANs) on generating domain-specific images, where we improve conventional evaluation methods on two levels: the feature representation and the evaluation metric. Unlike most existing evaluation frameworks which transfer the representation of ImageNet inception model to map images onto the feature space, our framework uses a specialized encoder to acquire fine-grained domain-specific representation. Moreover, for datasets with multiple classes, we propose Class-Aware Frechet Distance (CAFD), which employs a Gaussian mixture model on the feature space to better fit the multi-manifold feature distribution. Experiments and analysis on both the feature level and the image level were conducted to demonstrate improvements of our proposed framework over the recently proposed state-of-the-art FID method. To our best knowledge, we are the first to provide counter examples where FID gives inconsistent results with human judgments. It is shown in the experiments that our framework is able to overcome the shortness of FID and improves robustness. Code will be made available.

研究动机与目标

• 促进对领域特定图像生成的 GAN 的更好定量评估。
• 论证基于 ImageNet 的表示对许多数据集无效，并提出领域特定的编码器。
• 引入 CAFD，采用高斯混合模型来建模多类别特征分布。
• 提供证据表明 CAFD 更符合人类判断，并能发现 FID 未能发现的问题。

提出的方法

• 使用领域特定的编码器从目标数据集中获得细粒度表征。
• 使用高斯混合模型（GMM）来建模多类别特征分布，而不是单一高斯分布。
• 通过对每个类别计算 Frechet 距离并在各类别之间取平均来定义 CAFD。
• 在真实和生成模式分布之间引入 KL 散度以检测模式坍缩。
• 证明通过比较训练集/测试集的 CAFD 得分，CAFD 能揭示按类别的生成性能和潜在的过拟合。

实验结果

研究问题

• RQ1 领域特定的编码器是否能提升 GAN 评估中特征表示的质量，相较于基于 ImageNet 的编码器？
• RQ2 带类别感知的距离（CAFD）是否比 FID 更好地捕捉多流形特征分布？
• RQ3 CAFD 是否与人类判断更趋一致，并能检测 FID 未能发现的模式相关问题？

主要发现

• 领域特定的编码器能产生比 ImageNet 基于特征更有效、更加细粒度的表征。
• CAFD 使用高斯混合模型，更好地拟合多类别特征分布，并提供带类别感知的距离测量。
• CAFD 揭示 FID 与人类判断相矛盾的不一致性，并对特征级扰动表现出鲁棒性。
• 真实与生成类别分布之间的 KL 散度有助于检测模式坍缩。
• 在 MNIST/CIFAR/CelebA 上的实验表明该框架比 FID 更具优势并提供按类别的洞见。