[論文レビュー] DeepFakes: a New Threat to Face Recognition? Assessment and Detection

Pavel Korshunov, Sébastien Marcel|arXiv (Cornell University)|Dec 20, 2018

Digital Media Forensic Detection参考文献 24被引用数 490

ひとこと要約

本論文は、GANを用いた公開Deepfake VidTIMITベースのデータセットを作成し、VGG/Facenetの顔認識が入れ替え顔に対して脆弱であることを示し、検出手法を評価してIQM+SVMがベースラインの中で最良、リップシンク法は失敗する。

ABSTRACT

It is becoming increasingly easy to automatically replace a face of one person in a video with the face of another person by using a pre-trained generative adversarial network (GAN). Recent public scandals, e.g., the faces of celebrities being swapped onto pornographic videos, call for automated ways to detect these Deepfake videos. To help developing such methods, in this paper, we present the first publicly available set of Deepfake videos generated from videos of VidTIMIT database. We used open source software based on GANs to create the Deepfakes, and we emphasize that training and blending parameters can significantly impact the quality of the resulted videos. To demonstrate this impact, we generated videos with low and high visual quality (320 videos each) using differently tuned parameter sets. We showed that the state of the art face recognition systems based on VGG and Facenet neural networks are vulnerable to Deepfake videos, with 85.62% and 95.00% false acceptance rates respectively, which means methods for detecting Deepfake videos are necessary. By considering several baseline approaches, we found that audio-visual approach based on lip-sync inconsistency detection was not able to distinguish Deepfake videos. The best performing method, which is based on visual quality metrics and is often used in presentation attack detection domain, resulted in 8.97% equal error rate on high quality Deepfakes. Our experiments demonstrate that GAN-generated Deepfake videos are challenging for both face recognition systems and existing detection methods, and the further development of face swapping technology will make it even more so.

研究の動機と目的

• GANベースのディープフェイク動画を顔スワッピング用に公開可能なデータセットとして提供する。
• 最新の顔認識システムのディープフェイクへの脆弱性を評価する。
• ベースラインのディープフェイク検出手法を評価し、利点と限界を特定する。

提案手法

• VidTIMIT上でGANベースの顔スワッピングを用いてディープフェイクを生成し、LQ(64x64)およびHQ(128x128)動画を作成する。
• 元データとディープフェイク動画の両方でVGGとFacenetの顔認識性能を評価する。
• リップシンクの不整合を音声-映像検出のベースラインとしてテストし、PCA/LDA、IQM、SVMなどの画像品質/機械学習ベースラインを複数検討する。
• 再現性のためのオープンソースデータセットと実装を提供する。

実験結果

リサーチクエスチョン

• RQ1 GANベースのディープフェイク顔スワップに対して、現在の顔認識システム（VGGとFacenet）はどれだけ脆弱か。
• RQ2 既存の検出手法はディープフェイク動画と真の映像を信頼性高く区別できるか、どの特徴が最も効果的か。
• RQ3 リップシンクベースの検出は、Deepfakes検出において画像品質指標（IQMなど）を用いた手法よりも優れているか。
• RQ4 動画品質（LQ対HQ）が認識の脆弱性と検出精度の双方に与える影響は何か。

主な発見

• VGGとFacenetの顔認識はディープフェイク動画に対して高い脆弱性を示し、VGGはHQでFAR 85.62%、LQで88.75%、FacenetはHQで95.00%、LQで94.38%をEER閾値で示す（正規データからのEER閾値）。
• リップシンクに基づく検出はディープフェイクと原画像を区別できず、音声-映像の不整合性アプローチの限界を示している。
• IQMベースの特徴量とSVM分類器はHQディープフェイクを8.97%のEERと9.05%のFRR@FAR10%で検出し、HQの性能はLQより顕著に優れている。
• IQMに基づくPCA/LDAを用いた手法は効果がさまざまで、例えばIQM+PCA+LDAはLQで20.52%のEER、66.67%のFRR@FAR10%を示す。
• 全体として、ベースライン検出器はHQディープフェイクに対して効果が低く、より堅牢な検出手法とデータセットの整備が必要であることを強調している。