[论文解读] Generated Faces in the Wild: Quantitative Comparison of Stable Diffusion, Midjourney and DALL-E 2

Ali Borji|arXiv (Cornell University)|Oct 2, 2022

Generative Adversarial Networks and Image Synthesis被引用 96

一句话总结

本论文在野外场景中定量比较三个文本到图像模型在真实人脸生成上的能力，比较对象为 Stable Diffusion、Midjourney、DALL-E 2，使用 FID；在三者中，Stable Diffusion 的人脸质量最佳。引入用于评估的新 GFW 面孔数据集。

ABSTRACT

The field of image synthesis has made great strides in the last couple of years. Recent models are capable of generating images with astonishing quality. Fine-grained evaluation of these models on some interesting categories such as faces is still missing. Here, we conduct a quantitative comparison of three popular systems including Stable Diffusion, Midjourney, and DALL-E 2 in their ability to generate photorealistic faces in the wild. We find that Stable Diffusion generates better faces than the other systems, according to the FID score. We also introduce a dataset of generated faces in the wild dubbed GFW, including a total of 15,076 faces. Furthermore, we hope that our study spurs follow-up research in assessing the generative models and improving them. Data and code are available at data and code, respectively.

研究动机与目标

• 评估三种文本到图像模型在杂乱场景中生成写真人脸的能力。
• 使用受控人脸数据集和 FID 作为评估指标，提供公平的定量比较。
• 创建一个生成人脸的数据集，以便未来在生成模型评估和偏见研究方面开展研究。

提出的方法

• 使用 COCO 标注来提示三种模型生成包含人脸的图像。
• 使用 MediaPipe 面部检测器检测生成图像和真实图像中的人脸，并剔除假阳性。
• 将生成的人脸调整为 100x100，并对真实人脸计算 Fréchet Inception Distance (FID)；在多个随机样本上重复以估计均值和 std。

实验结果

研究问题

• RQ1 Stable Diffusion、Midjourney、和 DALL-E 2 能否在杂乱场景中生成写真人脸，且它们的定量比较如何？
• RQ2 在不同样本量以及潜在的记忆或安全防护的情况下，FID 是否能可靠地区分模型间的人脸质量？
• RQ3 在野外场景中，这些系统生成的人脸有哪些实际限制和失败模式？

主要发现

• Stable Diffusion 在生成的人脸的 FID 上三者中表现最好。
• 所有模型在眼镜、眼睛、遮挡、轮廓视角和面部对称性方面表现困难，而真实人脸质量仍显著更高。
• DALL-E 2 的表现不如 Stable Diffusion，可能由于安全防护、对肖像的聚焦以及较小的图像集；Midjourney 常生成超现实或动漫风格的人脸。
• 更大的样本量可以提高 FID 比较的稳定性，作者创建了一个 15,076-face 生成集（8,050 Stable Diffusion, 6,350 Midjourney, 676 DALL-E 2）。
• 研究指出潜在的记忆化和水印问题，并建议超越 FID 的更广泛评估指标（如 SSIM、LPIPS、人工评估）。
• 本文提供数据与代码访问，以促进未来基准测试和对野外人脸生成的更深入分析。