[論文レビュー] More Real than Real: A Study on Human Visual Perception of Synthetic Faces

Federica Lago, Cecilia Pasquini+4 more|arXiv (Cornell University)|Jun 14, 2021

Generative Adversarial Networks and Image Synthesis参考文献 15被引用数 8

ひとこと要約

本研究は、最先端のGANによって生成された合成顔の人的視覚的認知を調査し、最近のAI生成顔が非常に現実的すぎて、参加者が実顔よりも合成顔を現実のものと誤認する傾向にあることを明らかにした。感覚心理学的実験と感受性・バイアス分析を用いて、著者らはStyleGAN2で生成された顔（AI-19）が実顔よりも本物らしく感じられることを発見した。これは、合成メディアの現実性が著しく向上したことを示し、人間による検出の難易度を高め、メディアの信頼性に懸念を呈する重要な転換点を示している。

ABSTRACT

Deep fakes became extremely popular in the last years, also thanks to their increasing realism. Therefore, there is the need to measures human's ability to distinguish between real and synthetic face images when confronted with cutting-edge creation technologies. We describe the design and results of a perceptual experiment we have conducted, where a wide and diverse group of volunteers has been exposed to synthetic face images produced by state-of-the-art Generative Adversarial Networks (namely, PG-GAN, StyleGAN, StyleGAN2). The experiment outcomes reveal how strongly we should call into question our human ability to discriminate real faces from synthetic ones generated through modern AI.

研究の動機と目的

• 最先端のGANが生成する顔画像と実顔画像の間を人間が信頼性を持って区別できるかどうかを評価すること。
• AI生成顔の現実性が、顔認識タスクにおける人間の認知と意思決定に与える影響を調査すること。
• PGGAN、StyleGAN、StyleGAN2といった異なるGANアーキテクチャが、人間の検出精度と知覚的バイアスに与える影響を評価すること。
• 合成顔の現実性の向上が、メディアの信頼性、ディープフェイク検出、認知神経科学の研究に与える影響を検討すること。

提案手法

• 参加者に実顔データセットと3つのGAN生成データセット（AI-17、AI-18、AI-19）の画像を提示し、実顔か合成顔かを分類する感覚心理学的実験を実施した。
• 分類精度を感受性（d'）とバイアス（β）に分解する信号検出理論を用い、知覚的能力と反応傾向を測定した。
• d'とβの枠組みを用いて、参加者が実顔と合成顔をどれほど正確に区別できたか、また実顔または合成顔と分類する傾向があるかを定量化した。
• PGGAN（2017年）、StyleGAN（2018年）、StyleGAN2（2019年）をベンチマークとして用い、時間経過に伴う現実性の向上を比較した。
• 統計モデルを用いて、各合成データセットおよび実顔セットの感受性とバイアスを推定した。
• 外部要因による知覚への影響を最小限に抑えるために、制御された条件下で参加者に画像を提示した。

実験結果

リサーチクエスチョン

• RQ1 人間の観察者は、最先端のGANによって生成された実顔と合成顔を信頼性を持って区別できるか？
• RQ2 PGGAN、StyleGAN、StyleGAN2といった異なるGANアーキテクチャにおいて、人間が感じる合成顔の現実性はどのように比較されるか？
• RQ3 最新のGANを用いた場合、人間参加者が合成顔を実顔と分類する傾向（知覚的バイアス）をどの程度示すか？
• RQ4 AI生成顔の現実性が、人間の知覚において実顔を上回るようになっているか？
• RQ5 異なる世代の合成顔生成技術において、顔認識の感受性とバイアスはどのように変化するか？

主な発見

• 参加者はAI-17（PGGAN）顔を実顔と区別する際、82％の正確性を示した。これは、初期のGANがまだ人間によって検出可能であることを示している。
• AI-18（StyleGAN）では、性能がランダムな当てずっぽうに近づき、感受性とバイアスの両方が顔の検出に明確な知覚的優位性を示さなかった。
• AI-19（StyleGAN2）では、感受性指数が負となり、極めて高いバイアスを示した。これは、参加者が実顔よりも合成顔を「実顔」と分類する傾向が強いことを意味する。
• AI-19顔は実顔よりも本物らしく感じられ、68％の参加者がそれを実顔と分類したのに対し、実顔は52％であった。
• 本研究は、合成顔の現実性に顕著な転換が起きたことを示している。最近のGANは人間の知覚閾値を超えており、合成顔が実顔よりも信じやすくなっている。
• 結果から、最新の合成顔は不気味の谷効果の適用がもはや成り立たない可能性があると考えられ、非常に現実的で不快感のない外見であると知覚されている。