[论文解读] A Novel Measure to Evaluate Generative Adversarial Networks Based on Direct Analysis of Generated Images

Shuyue Guan, Murray H. Loew|arXiv (Cornell University)|Feb 27, 2020

Generative Adversarial Networks and Image Synthesis参考文献 56被引用 11

一句话总结

本文提出了一种新颖的 GAN 评估指标——相似度得分（LS），该指标直接分析生成的图像，无需依赖预训练分类器。通过使用欧几里得距离的基于距离的可分性指数，LS 量化了创造力、继承性和多样性，提供了一个稳定、可解释且基础的评估框架，在多个 GAN 模型和数据集上表现优于或匹配 IS 和 FID。

ABSTRACT

The Generative Adversarial Network (GAN) is a state-of-the-art technique in the field of deep learning. A number of recent papers address the theory and applications of GANs in various fields of image processing. Fewer studies, however, have directly evaluated GAN outputs. Those that have been conducted focused on using classification performance, e.g., Inception Score (IS) and statistical metrics, e.g., Fr\'echet Inception Distance (FID). Here, we consider a fundamental way to evaluate GANs by directly analyzing the images they generate, instead of using them as inputs to other classifiers. We characterize the performance of a GAN as an image generator according to three aspects: 1) Creativity: non-duplication of the real images. 2) Inheritance: generated images should have the same style, which retains key features of the real images. 3) Diversity: generated images are different from each other. A GAN should not generate a few different images repeatedly. Based on the three aspects of ideal GANs, we have designed the Likeness Score (LS) to evaluate GAN performance, and have applied it to evaluate several typical GANs. We compared our proposed measure with two commonly used GAN evaluation methods: IS and FID, and four additional measures. Furthermore, we discuss how these evaluations could help us deepen our understanding of GANs and improve their performance.

研究动机与目标

• 解决缺乏不依赖 InceptionNet 等预训练分类器的、基础且直接的 GAN 生成图像评估方法的问题。
• 定义并量化高质量 GAN 生成的三个核心属性：创造力（非重复性）、继承性（视觉保真度）和多样性（样本间的差异性）。
• 开发一种新的评估指标——相似度得分（LS），通过使用欧几里得距离直接测量图像级相似性与差异性，为现有指标提供一种稳定且可解释的替代方案。
• 在多种 GAN 架构和数据集上，将 LS 与现有指标（IS、FID、1NNC、MS、AM、SWD）进行对比验证，证明其竞争力和可解释性。

提出的方法

• 提出一种基于生成图像与真实图像之间欧几里得距离的基于距离的可分性指数，用于量化图像级相似性与差异性。
• 定义三个评估维度：创造力（通过与真实图像的距离衡量）、继承性（通过与真实图像分布的距离衡量）和多样性（通过样本间距离的分布范围衡量）。
• 构建相似度得分（LS）作为统一指标，通过多尺度单元分析框架中的类间距离（ICD）和类间距离（BCD）整合这三个方面。
• 直接将 LS 应用于生成图像特征，无需使用预训练网络，仅依赖像素级或特征级距离。
• 通过理论分析证明：当真实数据与生成数据分布相同时，ICD 和 BCD 的距离分布将无法区分，从而验证 LS 对分布保真度的敏感性。
• 使用核密度估计和柯尔莫哥洛夫-斯米尔诺夫（KS）距离比较 ICD 和 BCD 集合的分布，构成 LS 计算的核心。

实验结果

研究问题

• RQ1 能否开发一种 GAN 评估指标，直接分析生成图像，而无需依赖 InceptionNet 等预训练分类器？
• RQ2 在统一的基于距离的框架下，GAN 生成的三个核心属性——创造力、继承性和多样性——在多大程度上可以被定量测量？
• RQ3 在多种 GAN 架构下，所提出的相似度得分（LS）与 IS、FID、MS、AM 和 SWD 等成熟指标相比，在性能和稳定性方面表现如何？
• RQ4 LS 是否能在检测过拟合和模式崩溃方面提供比现有指标更可解释且更稳定的结果？

主要发现

• 相似度得分（LS）通过直接、无分类器的生成图像分析，有效捕捉了 GAN 生成的三种理想属性：创造力、继承性和多样性。
• LS 在多个 GAN 模型（DCGAN、WGAN-GP、SNGAN、LSGAN、SAGAN）和多种数据集上表现出色，性能与 IS 和 FID 相当或更优。
• LS 对生成图像数量具有稳定性，在不同样本规模下表现一致。
• 理论分析证明：当真实数据与生成数据分布相同时，类间距离（ICD）和类间距离（BCD）的分布将完全一致，验证了 LS 对分布保真度的敏感性。
• LS 成功检测到过拟合和模式崩溃，表现为能够有效区分生成重复或高度相似图像的 GAN 模型。
• LS 提供了更具可解释性的评估，通过直接将指标值与视觉质量特征关联，解释力强于基于分类器输出的指标。