[論文レビュー] Deepfake detection: humans vs. machines

Pavel Korshunov, Sébastien Marcel|arXiv (Cornell University)|Sep 7, 2020

Generative Adversarial Networks and Image Synthesis参考文献 17被引用数 11

ひとこと要約

本研究では、Facebook Deepfakeデータセットから手動で選別された120本の動画を用いて、人間と機械の両者が深偽造動画を検出する能力を評価した。人間はリアルな深偽造動画に対して困難を示しており、75.5%のケースで検出に失敗する一方、最先端の深層学習モデル（XceptionおよびEfficientNet）は根本的に異なる検出パターンを示し、人間が簡単に特定できる深偽造動画に対してもしばしば失敗する。これは、深偽造動画に対する人間と機械の認識の間で重要な乖離が生じていることを示している。

ABSTRACT

Deepfake videos, where a person's face is automatically swapped with a face of someone else, are becoming easier to generate with more realistic results. In response to the threat such manipulations can pose to our trust in video evidence, several large datasets of deepfake videos and many methods to detect them were proposed recently. However, it is still unclear how realistic deepfake videos are for an average person and whether the algorithms are significantly better than humans at detecting them. In this paper, we present a subjective study conducted in a crowdsourcing-like scenario, which systematically evaluates how hard it is for humans to see if the video is deepfake or not. For the evaluation, we used 120 different videos (60 deepfakes and 60 originals) manually pre-selected from the Facebook deepfake database, which was provided in the Kaggle's Deepfake Detection Challenge 2020. For each video, a simple question: "Is face of the person in the video real of fake?" was answered on average by 19 naïve subjects. The results of the subjective evaluation were compared with the performance of two different state of the art deepfake detection methods, based on Xception and EfficientNets (B4 variant) neural networks, which were pre-trained on two other large public databases: the Google's subset from FaceForensics++ and the recent Celeb-DF dataset. The evaluation demonstrates that while the human perception is very different from the perception of a machine, both successfully but in different ways are fooled by deepfakes. Specifically, algorithms struggle to detect those deepfake videos, which human subjects found to be very easy to spot.

研究の動機と目的

• 平均的な人間の観察者にとって、さまざまなレベルの視覚的アーティファクトの深刻さに応じて、深偽造動画がどれほどリアルに見えるかを評価すること。
• 同一の動画セットを用いて、人間の検出性能と最先端の深偽造検出アルゴリズムの性能を比較すること。
• 特に視覚的アーティファクトの検出可能性という観点から、機械による深偽造動画の認識と人間の認識の相関関係を調査すること。
• 異なるデータセットで訓練された深偽造検出モデルが、未観測のFacebookが生成した深偽造動画に対してどれほど一般化できるかを評価すること。
• 機械視覚が深偽造検出において人間の視覚認識と一致するという仮定に疑問を呈すること。

提案手法

• Facebook Deepfakeデータセットから選別された120本の動画（実物60本、深偽造60本）を用いたクラウドソーシング型の主観的評価を実施した。動画は「非常に簡単」「簡単」「中程度」「困難」「非常に困難」の5段階の難易度に分類された。
• 各動画は平均19名の素人が視聴し、動画内の顔が本物か偽物かを回答した。これにより、人間の認識の基準が得られた。
• XceptionおよびEfficientNet-B4という2つの最先端の深偽造検出モデルを、同じ動画セットで評価した。XceptionはGoogleのFaceForensics++サブセット、EfficientNet-B4はCeleb-DFデータセットで事前学習済みであった。
• 実用的導入条件を模擬するため、それぞれの学習データベースの開発セットで10%の誤受容率（FAR）を基準とした性能評価を実施した。
• 全テストセットにおけるモデルと人間被験者の全体的な検出性能を比較するため、受信者操作特性（ROC）曲線とAUC値を算出した。
• 深偽造のカテゴリごとの検出精度を比較し、人間と機械の認識の差異を分析した。特に、人間が容易に偽物を特定できるが、モデルが失敗するケースに注目した。

実験結果

リサーチクエスチョン

• RQ1 平均的な人間観察者は、視覚的アーティファクトの深刻さのスケールに応じて、深偽造動画をどの程度正確に検出できるか？
• RQ2 最先端の深層学習モデルによる深偽造検出は、Facebookデータセットの未観測の深偽造動画にどの程度一般化できるか？
• RQ3 人間の深偽造のリアルさへの認識と、機械学習モデルの検出性能の間に相関関係があるか？
• RQ4 なぜ深偽造検出モデルは、人間が簡単に検出可能な深偽造動画に対して失敗するのか？
• RQ5 学習データの分布としきい値の選定は、深偽造検出システムの実世界での性能にどのように影響するか？

主な発見

• 人間被験者は、深偽造動画が視覚的にリアルな状況では、24.5%のケースでのみ正しく検出できた。これは、75.5%の高品質な深偽造動画が平均的な観察者を欺いたことを示している。
• 人間の検出精度は難易度レベルに応じて体系的に変化した。被験者は「非常に簡単」な深偽造の95%を正しく識別したが、「非常に困難」なもののうちわずか25%にとどまり、カテゴリ間で一貫した認識が確認された。
• XceptionおよびEfficientNetモデルは、検出性能と人間の難易度認識の間で相関がなかった。特に、人間が簡単に検出できる深偽造動画に対しても、モデルは著しく性能を発揮しなかった。
• モデルは全テストセットでAUC 87.47%を達成し、人間被験者（AUC 87.47%）を上回ったが、これはより複雑な視覚的アーティファクトを検出できる能力のおかげであり、一般化能力の優位性によるものではなかった。
• 本研究では、人間と機械の認識の根本的な乖離が明らかになった。モデルは人間にとって視覚的に明白な偽物に対してしばしば失敗するが、これは機械視覚が人間の視覚的推論を模倣していないことを示している。
• しきい値の選定と学習データの分布がモデル性能に顕著な影響を及ぼした。Celeb-DFで学習したモデルは、GoogleのFaceForensics++サブセットで学習したモデルよりも、この未観測のFacebookデータセットに対して優れた一般化性能を示した。