[論文レビュー] The Deepfake Detection Challenge (DFDC) Preview Dataset

Brian Dolhansky, Russ Howes+3 more|arXiv (Cornell University)|Oct 19, 2019

Digital Media Forensic Detection参考文献 6被引用数 157

ひとこと要約

本論文は、2つの顔交換手法を用いた5K動画のDFDCプレビュー・データセットを提案し、参加者の同意を得たデータ収集プロセスを提供し、重み付き精度を強調する評価指標を概説し、TamperNetとXceptionNetモデルのベースライン結果を報告します。

ABSTRACT

In this paper, we introduce a preview of the Deepfakes Detection Challenge (DFDC) dataset consisting of 5K videos featuring two facial modification algorithms. A data collection campaign has been carried out where participating actors have entered into an agreement to the use and manipulation of their likenesses in our creation of the dataset. Diversity in several axes (gender, skin-tone, age, etc.) has been considered and actors recorded videos with arbitrary backgrounds thus bringing visual variability. Finally, a set of specific metrics to evaluate the performance have been defined and two existing models for detecting deepfakes have been tested to provide a reference performance baseline. The DFDC dataset preview can be downloaded at: deepfakedetectionchallenge.ai

研究の動機と目的

• 多様で同意に基づく動画データセットを用いてディープフェイク検出の研究を促進・支援する。
• 検出手法をベンチマークし、ベースライン性能を確立するためのプレビュー・データセットを提供する。
• ディープフェイクと実動画の出現比の格差を考慮した評価指標を定義する。
• 単純な検出モデルを用いた初期のベースライン結果を示し、今後の研究を導く。

提案手法

• 性別・肌の色・年齢の多様性を確保するクラウドソーシングによる俳優を用いたデータ収集プロセスを説明する。
• 近接フレームでの近似同一性を避けるため、顔サイズ比に基づくフィルタリングを行い、2つの顔交換手法を作成する（手法Aと手法B）。
• 実世界の劣化を模倣するため、各ビデオから複数の15秒クリップを抽出し、テストクリップに制御された拡張を適用する。
• データセット間のディープフェイク普及の差と実世界トラフィックを反映する重み付き精度（wP）を定義し、再現のためにデカイレベルでのlog(wP)を報告する。
• フレームベースおよびビデオレベルの検出について、TamperNet、XceptionNet（Face）、およびXceptionNet（Full）を用いたベースライン評価を提供する。

実験結果

リサーチクエスチョン

• RQ1 多様で同意を得たDFDCプレビュー・データセット上で、単純なディープフェイク検出モデルのベースライン性能はどの程度か。
• RQ2 このデータセット上で、弱教師あり手法やフレームベース対全ビデオ検出アプローチはどのように比較されるか。
• RQ3 偽と実のビデオ間の現実世界のクラス不均衡を反映するよう、評価指標をどのように適応すべきか。
• RQ4 標準的な拡張が、プレビュー設定における検出されたディープフェイクに及ぼす影響はどの程度か。

主な発見

表	指標	値1	値2	値3
表2: log-WPを最適化したときの動画レベルのテスト指標	適合率	0.833	0.930	0.784
	再現率	0.033	0.084	0.268
	log-WP	-3.044	-2.140	-3.352

• DFDCプレビュー・データセットは、参加者の同意を得た66人にわたる4,464本のトレーニングクリップと780本のテストクリップを含む。
• 表現近接のフレームでの近似同一性を避けるため、顔交換の2つの手法（AとB）を用い、顔サイズ比に基づくフィルタリングを実施する。
• 現実世界の劣化を模倣するため、テストクリップに対してビデオ拡張（FPSを15へ低下、解像度を1/4、エンコード品質を低下）を適用する。
• ベースライン結果は、データセット上でlog(WP)を最適化した場合、TamperNetが0.833の適合率と0.033の再現率、log(WP) = -3.044を示す。
• XceptionNet（Face）は0.930の適合率と0.084の再現率を、log(WP) = -2.140で達成し、XceptionNet（Full）は0.784の適合率と0.268の再現率を、log(WP) = -3.352で達成する。
• 本論文は、データセットと有機的トラフィック間の現実的なディープフェイク普及差を反映する重み付き精度指標（log(WP)）を定義する。