[论文解读] Compound Frechet Inception Distance for Quality Assessment of GAN Created Images

Eric J. Nunn, Pejman Khadivi+1 more|arXiv (Cornell University)|Jun 16, 2021

Generative Adversarial Networks and Image Synthesis参考文献 14被引用 8

一句话总结

本文提出复合弗雷chet inception距离（C-FID），一种新颖的度量方法，通过整合多层次特征表示——低层次、中层次和高层次特征——将FID基准评估扩展至生成对抗网络（GAN）图像质量评估。通过融合这些抽象特征，C-FID在检测视觉缺陷方面表现出更强的鲁棒性，相较于标准FID，在存在失真或低质量生成图像时表现更优，尤其在感知质量受损但FID分数仍显得误导性偏低的情况下表现突出。

ABSTRACT

Generative adversarial networks or GANs are a type of generative modeling framework. GANs involve a pair of neural networks engaged in a competition in iteratively creating fake data, indistinguishable from the real data. One notable application of GANs is developing fake human faces, also known as "deep fakes," due to the deep learning algorithms at the core of the GAN framework. Measuring the quality of the generated images is inherently subjective but attempts to objectify quality using standardized metrics have been made. One example of objective metrics is the Frechet Inception Distance (FID), which measures the difference between distributions of feature vectors for two separate datasets of images. There are situations that images with low perceptual qualities are not assigned appropriate FID scores. We propose to improve the robustness of the evaluation process by integrating lower-level features to cover a wider array of visual defects. Our proposed method integrates three levels of feature abstractions to evaluate the quality of generated images. Experimental evaluations show better performance of the proposed method for distorted images.

研究动机与目标

• 解决标准弗雷chet inception距离（FID）在未能对感知质量差或失真的GAN生成图像进行惩罚方面的局限性。
• 通过引入捕捉结构与纹理缺陷的低层次视觉特征，提升GAN图像质量评估的鲁棒性。
• 开发一种统一度量方法，将高层次语义特征与中、低层次视觉抽象相结合，实现更全面的质量评估。
• 为GAN生成图像提供更可靠且与人类感知对齐的评估度量，尤其在图像失真或伪影存在的情况下。

提出的方法

• 该方法通过在预训练的Inception网络多个层中引入特征图，扩展了标准FID：包括低层次（早期卷积层）、中层次（中间层）和高层次（最终分类层）。
• 为每个特征层级分别计算FID分数，并通过加权融合策略组合成复合度量，以平衡不同抽象层级的贡献。
• 模型使用预训练的Inception v3作为特征提取器，从最后一个平均池化层和中间层提取特征向量，以捕捉语义信息与低层次视觉模式。
• 最终的C-FID分数通过加权求和方式计算三个层级的独立FID分数，超参数经调优以增强对缺陷敏感的低层次特征的权重。
• 该方法保持FID的统计基础，通过测量真实图像与生成图像特征的多变量高斯分布之间的弗雷chet距离。
• 在具有受控失真的基准数据集上评估该方法，以评估其对模糊、噪声和纹理不一致性等伪影的敏感性。

实验结果

研究问题

• RQ1 整合低层次视觉特征是否能提升FID对感知质量下降的GAN生成图像的敏感性？
• RQ2 多层级特征抽象的结合如何影响FID分数与人类对图像质量感知判断之间的相关性？
• RQ3 所提出的C-FID度量在检测模糊和噪声等图像失真方面，相较于标准FID的优越程度如何？
• RQ4 中层次与低层次特征的引入是否能提升对在多样化或不完美数据集上训练的GAN模型的评估鲁棒性？
• RQ5 在FID无法反映视觉退化的情况下，C-FID是否可作为比FID更可靠的感知质量代理度量？

主要发现

• C-FID在检测标准FID常忽略的视觉伪影（如模糊、噪声和纹理不一致）方面表现更优。
• 在具有受控失真的数据集中，C-FID与人类感知判断的相关性显著强于标准FID。
• 低层次特征的整合显著提升了度量对图像质量退化的敏感性，尤其在FID分数保持较低但视觉质量差的情况下。
• 多层级特征的加权融合实现了更均衡且鲁棒的评估，减少了质量评估中的误报。
• 实验结果证实，C-FID能有效识别出生成低质量图像的模型，即使标准FID分数呈现误导性有利结果。
• 该方法在保持计算可行性的同时，显著提升了GAN评估在实际部署场景中的可靠性。