[論文レビュー] Celeb-DF: A Large-scale Challenging Dataset for DeepFake Forensics

Yuezun Li, Xin Yang+3 more|arXiv (Cornell University)|Sep 27, 2019

Digital Media Forensic Detection参考文献 50被引用数 103

ひとこと要約

Celeb-DF は、検出手法をより適切に評価するための大規模で高品質な DeepFake 動画データセットを導入する（5,639 DeepFakes、over 2 million frames）。現在の検出器はこのより高品質なデータに苦戦していることを示している。

ABSTRACT

AI-synthesized face-swapping videos, commonly known as DeepFakes, is an emerging problem threatening the trustworthiness of online information. The need to develop and evaluate DeepFake detection algorithms calls for large-scale datasets. However, current DeepFake datasets suffer from low visual quality and do not resemble DeepFake videos circulated on the Internet. We present a new large-scale challenging DeepFake video dataset, Celeb-DF, which contains 5,639 high-quality DeepFake videos of celebrities generated using improved synthesis process. We conduct a comprehensive evaluation of DeepFake detection methods and datasets to demonstrate the escalated level of challenges posed by Celeb-DF.

研究の動機と目的

• 現実的なインターネットコンテンツによりよく適合する、より大規模で高品質な DeepFake 動画データセットの必要性を動機づける。
• 以前のデータセットで見られたアーティファクトを減らす改善された合成を用いて Celeb-DF を作成する。
• Celeb-DF および既存データセットに対する現在の DeepFake 検出手法の包括的な評価を提供し、実世界の課題を評価する。

提案手法

• 256x256 の顔領域を生成し、視覚品質を高め、アーティファクトを減らす改良された DeepFake 合成パイプラインを開発する。
• ドナーとターゲットの顔間の色の不一致を減らすためにカラー拡張とカラー転送を適用する。
• 滑らかな境界を持つ完全な顔領域を覆うようにフェイスマスクを改善する。
• 時間的ランドマークにカールマン平滑化を組み込み、フレーム間のちらつきを低減する。
• 頭部領域に焦点を当てた Mask-SSIM を用いて視覚品質を定量的に評価する。
• Celeb-DF を含む複数データセットでフレームレベル AUC を用いて検出手法を評価する。

実験結果

リサーチクエスチョン

• RQ1 Celeb-DF データセットは、以前の DeepFake データセットと比較して視覚品質がどのように異なるか？
• RQ2 現在の DeepFake 検出手法は、 Celeb-DF に対して以前のデータセットと比較してどのように性能を発揮するか？
• RQ3 最先端検出器全体における検出性能に対するビデオ圧縮の影響は何か？

主な発見

• Celeb-DF には 5,639 の DeepFake 動画（over 2,000,000 枚のフレーム）と 59 人の有名人からの 590 本のリアル動画が含まれる。
• Celeb-DF の合成パイプラインは、より高い Mask-SSIM スコアで示されるように、アーティファクトが少なく、視覚品質が高い（ Celeb-DF: 0.92 -SSIM は表2に記載）。
• 評価対象の検出器全体で、Celeb-DF は一般に最も難易度が高いデータセットであり、古いデータセットと比較してフレームレベルの平均 AUC が低い。
• 最近の手法（DSP-FWA）は、テスト対象の検出器の中で最高の性能を達成し、研究概要では約 87.4%（データセット全体の総合性能）に達している。
• 圧縮実験は、より高い H.264 圧縮で検出器の性能が低下することを示しているが、いくつかのモデル（例：Xception 系列）は比較的堅牢である。