[论文解读] More Real than Real: A Study on Human Visual Perception of Synthetic Faces

Federica Lago, Cecilia Pasquini+4 more|arXiv (Cornell University)|Jun 14, 2021

Generative Adversarial Networks and Image Synthesis参考文献 15被引用 8

一句话总结

本研究探讨了人类对最先进生成对抗网络（GAN）生成的合成人脸的视觉感知，发现近期AI生成的人脸已如此逼真，以至于参与者更常将它们误认为真实人脸，甚至比真实人脸的误判率更高。通过结合敏感度与偏倚分析的心理物理学实验，作者发现StyleGAN2生成的人脸（AI-19）在感知上比真实人脸更具真实性，表明合成媒体真实感的显著提升，对人类检测能力构成挑战，并引发媒体可信度的担忧。

ABSTRACT

Deep fakes became extremely popular in the last years, also thanks to their increasing realism. Therefore, there is the need to measures human's ability to distinguish between real and synthetic face images when confronted with cutting-edge creation technologies. We describe the design and results of a perceptual experiment we have conducted, where a wide and diverse group of volunteers has been exposed to synthetic face images produced by state-of-the-art Generative Adversarial Networks (namely, PG-GAN, StyleGAN, StyleGAN2). The experiment outcomes reveal how strongly we should call into question our human ability to discriminate real faces from synthetic ones generated through modern AI.

研究动机与目标

• 评估人类是否能可靠地区分由最先进GAN生成的真实与合成人脸图像。
• 探究AI生成人脸的真实感如何影响人类在人脸检测任务中的感知与决策。
• 评估不同GAN架构（PGGAN、StyleGAN、StyleGAN2）对人类检测准确率与感知偏倚的影响。
• 探讨合成人脸真实感提升对媒体可信度、深度伪造检测及认知神经科学研究的潜在影响。

提出的方法

• 开展心理物理学实验，让人类参与者对三组GAN生成数据集（AI-17、AI-18、AI-19）和一组真实人脸数据集中的图像进行真实或合成的分类。
• 运用信号检测理论，将分类准确率分解为敏感度（d'）与偏倚（β），以衡量感知能力与反应倾向。
• 应用d'与β框架，量化参与者区分真实与合成人脸的能力，以及其将图像归类为真实或合成的倾向。
• 对比不同GAN模型的表现，以评估真实感随时间的演变，以PGGAN（2017）、StyleGAN（2018）和StyleGAN2（2019）为基准。
• 使用统计模型分析数据，估算每组合成数据集与真实人脸集的敏感度与偏倚。
• 在受控条件下收集参与者对图像的感知数据，以最小化外部因素对感知的影响。

实验结果

研究问题

• RQ1 人类观察者能否可靠地区分由最先进GAN生成的真实人脸与合成人脸？
• RQ2 在不同GAN架构（PGGAN、StyleGAN、StyleGAN2）下，人类感知的合成人脸真实感如何比较？
• RQ3 人类参与者在多大程度上表现出将合成人脸误判为真实的感知偏倚，尤其是在最新GAN生成的图像中？
• RQ4 AI生成人脸的真实感在人类感知中是否已超越真实人脸？
• RQ5 不同代际的合成人脸生成技术中，人脸分类的敏感度与偏倚如何变化？

主要发现

• 参与者对AI-17（PGGAN）人脸与真实人脸的区分准确率为82%，表明早期GAN生成的人脸仍可被人类察觉。
• 对于AI-18（StyleGAN），表现接近随机猜测，敏感度与偏倚分析显示检测中无明显感知优势。
• 对于AI-19（StyleGAN2），参与者表现出负向敏感度指数与极高偏倚，意味着更倾向于将合成人脸判断为真实，甚至超过真实人脸的判断率。
• AI-19人脸被感知为比真实人脸更具真实性，68%的参与者将其分类为真实，而真实人脸的判断率为52%。
• 本研究揭示了合成人脸真实感的显著转变：近期GAN已超越人类感知阈值，使合成人脸比真实人脸更具可信度。
• 结果表明，最新合成人脸可能已不再符合‘恐怖谷’效应，因其被感知为高度真实且无怪异感。