[論文レビュー] The DeepFake Detection Challenge Dataset

Brian Dolhansky, Joanna Bitton+5 more|arXiv (Cornell University)|Jun 12, 2020

Generative Adversarial Networks and Image Synthesis参考文献 3被引用数 185

ひとこと要約

本論文は、生成対話ネットワーク（GAN）ベースおよび学習なしの顔交換手法を用いて作成された、3,426名の協力参加者からなる100,000本以上の動画を含む、公開可能な顔交換動画データセットであるDeepFake検出チャレンジ（DFDC）データセットを紹介する。本研究では、DFDCデータセットにのみ訓練されたモデルが実世界のDeepfakeに一般化できることを示しており、検出研究のための価値あるベンチマークを確立している。

ABSTRACT

Deepfakes are a recent off-the-shelf manipulation technique that allows anyone to swap two identities in a single video. In addition to Deepfakes, a variety of GAN-based face swapping methods have also been published with accompanying code. To counter this emerging threat, we have constructed an extremely large face swap video dataset to enable the training of detection models, and organized the accompanying DeepFake Detection Challenge (DFDC) Kaggle competition. Importantly, all recorded subjects agreed to participate in and have their likenesses modified during the construction of the face-swapped dataset. The DFDC dataset is by far the largest currently and publicly available face swap video dataset, with over 100,000 total clips sourced from 3,426 paid actors, produced with several Deepfake, GAN-based, and non-learned methods. In addition to describing the methods used to construct the dataset, we provide a detailed analysis of the top submissions from the Kaggle contest. We show although Deepfake detection is extremely difficult and still an unsolved problem, a Deepfake detection model trained only on the DFDC can generalize to real in-the-wild Deepfake videos, and such a model can be a valuable analysis tool when analyzing potentially Deepfaked videos. Training, validation and testing corpuses can be downloaded from this https URL.

研究の動機と目的

• AI生成Deepfakeの増加する脅威に対処するため、大規模で公開可能な検出研究用データセットを構築すること。
• KaggleにおけるDeepFake検出チャレンジを通じて、標準化されたベンチマークを提供し、検出モデルの評価を行うこと。
• 顔交換動画に使用されたすべての被験者の肖像権を適切に扱うために、全被験者から同意を得ることで、倫理的なデータ収集を確保すること。
• チャレンジの上位モデルを分析し、実世界のDeepfakeへの一般化能力を評価すること。
• 実際の状況で不正に改ざんされた動画を分析できる信頼性の高い検出ツールの開発を可能にすること。

提案手法

• データセットは、GANベースおよび非学習型の複数の顔交換技術を用いて、3,426名の報酬を受け取った参加者の動画に適用した。
• 全被験者から明示的な同意を得ており、肖像権の倫理的使用を保証している。
• 100,000本を超える動画クリップが含まれており、訓練用、検証用、テスト用にバランスの取れた分割がなされている。
• Kaggleを活用したコンペティションを実施し、DFDCデータセットを主な訓練および評価リソースとして検出モデルの性能を評価した。
• チャレンジの上位提出物を分析し、さまざまな顔交換手法におけるモデルの性能、一般化能力、耐性を評価した。
• データセットおよび訓練リソースは研究利用のために公開されており、再現性とさらなる開発を支援している。

実験結果

リサーチクエスチョン

• RQ1 DFDCデータセットにのみ訓練された検出モデルは、訓練時に見られなかった実世界のDeepfake動画に対しても一般化できるか？
• RQ2 異なる深層学習アーキテクチャは、DFDCデータセットにおける本物の動画と顔交換済み動画を区別するのにどの程度効果的か？
• RQ3 成功した検出モデルがDFDCデータセットから学習する主なパターンやアーチファクトは何か？
• RQ4 合成された顔交換動画で訓練されたモデルは、実世界のDeepfakeに対してどの程度の性能を示すか？
• RQ5 多様な顔交換手法に応用された際の、現在のDeepfake検出モデルの限界および失敗モードは何か？

主な発見

• DFDCデータセットにのみ訓練されたモデルが実世界のDeepfake動画に一般化することを示しており、データセットが実世界の検出に有用であることが裏付けられた。
• チャレンジの上位モデルはテストセットで高い正確性を達成しており、深層学習アプローチが顔交換動画を効果的に検出できることを示している。
• 顔交換手法の多様性にかかわらず、微細な改ざんを特定することが困難であるため、検出タスクは依然として挑戦的である。
• 実世界のDeepfakeへの一般化は観察されたが、改ざんの種別や動画品質によって性能にばらつきが見られた。
• DFDCデータセットは意味のあるベンチマークを可能にし、耐性のある検出システムの開発を支援している。
• 全参加者から同意を得た倫理的なデータ収集により、研究におけるデータセットの信頼性と再現性が向上している。