[論文レビュー] DeepfakeBench: A Comprehensive Benchmark of Deepfake Detection

Zhiyuan Yan, Yong Zhang+3 more|arXiv (Cornell University)|Jul 4, 2023

Anomaly Detection Techniques and Applications被引用数 19

ひとこと要約

DeepfakeBenchは、標準化されたデータ処理、15件の検出器、9つのデータセット、そして再現性と公平な比較を高める包括的な評価プロトコルを備えた、ディープフェイク検知のモジュール式で統一されたベンチマークを導入します。

ABSTRACT

A critical yet frequently overlooked challenge in the field of deepfake detection is the lack of a standardized, unified, comprehensive benchmark. This issue leads to unfair performance comparisons and potentially misleading results. Specifically, there is a lack of uniformity in data processing pipelines, resulting in inconsistent data inputs for detection models. Additionally, there are noticeable differences in experimental settings, and evaluation strategies and metrics lack standardization. To fill this gap, we present the first comprehensive benchmark for deepfake detection, called DeepfakeBench, which offers three key contributions: 1) a unified data management system to ensure consistent input across all detectors, 2) an integrated framework for state-of-the-art methods implementation, and 3) standardized evaluation metrics and protocols to promote transparency and reproducibility. Featuring an extensible, modular-based codebase, DeepfakeBench contains 15 state-of-the-art detection methods, 9 deepfake datasets, a series of deepfake detection evaluation protocols and analysis tools, as well as comprehensive evaluations. Moreover, we provide new insights based on extensive analysis of these evaluations from various perspectives (e.g., data augmentations, backbones). We hope that our efforts could facilitate future research and foster innovation in this increasingly critical domain. All codes, evaluations, and analyses of our benchmark are publicly available at https://github.com/SCLBD/DeepfakeBench.

研究の動機と目的

• ディープフェイク検知において、公正な比較を可能にするための標準化された統一ベンチマークの必要性を動機づける。
• データ処理、検出器実装、評価のためのモジュール化され拡張可能なフレームワークを提供する。
• 複数の検出器とデータセットにわたる包括的な評価を提供し、洞察と一般化傾向を明らかにする。

提案手法

• 一貫性と再現性を確保するために、Data Processing、Training、Evaluation/Analysisの3つのモジュールからなるコードベースを開発する。
• フレーム抽出、顔の切り抜き/整列、マスク処理を含む統一前処理パイプラインでデータ入力を標準化する。
• 最先端の検出器15件（ナイーブ、空間、周波数）と9データセットを共通のトレーニング/評価フレームワークに統合する。
• フレームレベルの評価指標（ACC、AUC、AP、EER）を採用し、視覚化ツール（ROC、レーダー、ヒストグラム）と解釈性分析（Grad-CAM、t-SNE）を提供する。
• 一般化と頑健性を評価するために、同一ドメイン内、ドメイン横断、および操作横断の広範な評価を実施する。
• データ拡張、バックボーン、事前学習、フレーム数などの要因を分析して新たな洞察を導出する。

実験結果

リサーチクエスチョン

• RQ1 統一されたベンチマークは、ディープフェイク検知評価における公正性と再現性をどのように向上させることができるか？
• RQ2 統一データ処理とプロトコルの下で複数データセットに跨る評価を行った場合、さまざまな検出器の性能はどうなるか？
• RQ3 データ拡張、バックボーンアーキテクチャ、事前学習、フレームサンプリングは検知性能とドメイン横断的一般化にどのような影響を与えるか？

主な発見

• DeepfakeBenchは標準化されたプロトコルの下で9データセットにまたがる15検出器を評価し、手法間の公正な比較を可能にします。
• 同一ドメイン内の結果は、いくつかの検出器（例：UCF、Xception、EfficientB4、F3Net）の高いAUCを示し、平均スコアが場合によっては90代半ば程度になる。
• ナイーブ検出器（例：Xception、EfficientB4の派生版）は競争力のあるAUCを達成し、データ処理と訓練設定が性能に大きく影響することを示唆する。
• 跨ぎ manipulating（クロスマニピュレーション） analyses reveal substantial generalization gaps when detectors trained on one forgery type encounter unseen forgery types.
• Backbone choice and architectural features (e.g., depthwise separable convolutions) materially influence detection performance across datasets.
• Pre-training generally improves performance, especially for Xception and EfficientNetB4, underscoring the value of transferred low-level features.