[論文レビュー] GM-DF: Generalized Multi-Scenario Deepfake Detection

Yingxin Lai, Zitong Yu+4 more|arXiv (Cornell University)|Jun 28, 2024

Anomaly Detection Techniques and Applications被引用数 6

ひとこと要約

GM-DF は、ドメイン固有の専門家、CLIP ベースの共通表現、マスク画像モデリング、ドメイン認識メタ学習を組み合わせて、見知らぬシナリオへの一般化を向上させることで、複数のデータセットに跨るディープフェイク検出の統一モデルを提案します。

ABSTRACT

Existing face forgery detection usually follows the paradigm of training models in a single domain, which leads to limited generalization capacity when unseen scenarios and unknown attacks occur. In this paper, we elaborately investigate the generalization capacity of deepfake detection models when jointly trained on multiple face forgery detection datasets. We first find a rapid degradation of detection accuracy when models are directly trained on combined datasets due to the discrepancy across collection scenarios and generation methods. To address the above issue, a Generalized Multi-Scenario Deepfake Detection framework (GM-DF) is proposed to serve multiple real-world scenarios by a unified model. First, we propose a hybrid expert modeling approach for domain-specific real/forgery feature extraction. Besides, as for the commonality representation, we use CLIP to extract the common features for better aligning visual and textual features across domains. Meanwhile, we introduce a masked image reconstruction mechanism to force models to capture rich forged details. Finally, we supervise the models via a domain-aware meta-learning strategy to further enhance their generalization capacities. Specifically, we design a novel domain alignment loss to strongly align the distributions of the meta-test domains and meta-train domains. Thus, the updated models are able to represent both specific and common real/forgery features across multiple datasets. In consideration of the lack of study of multi-dataset training, we establish a new benchmark leveraging multi-source data to fairly evaluate the models' generalization capacity on unseen scenarios. Both qualitative and quantitative experiments on five datasets conducted on traditional protocols as well as the proposed benchmark demonstrate the effectiveness of our approach.

研究の動機と目的

• 多様な改ざん手法とシナリオを持つ複数のデータセットでディープフェイク検出器を学習した場合の一般化性能を調査する。
• ドメイン間の対立を緩和しつつ、ドメイン固有の識別特徴を保持する統一フレームワークを開発する。
• 画像とテキストの整合と再構成を活用して、ドメインを超えた共通の偽造パターンを捉える。
• 新しいドメイン整合性損失を用いたドメイン認識型メタ学習によって一般化を強化する。
• 公正なドメイン横断一般化評価のためのマルチデータセットベンチマークを確立し、評価する。

提案手法

• Dataset Information Layer と Mixture-of-Experts 構造を用いて、ドメイン固有の真偽特徴を抽出するハイブリッドエキスパートモデリング。
• CLIP を用いて、ドメイン間で共通の画像-テキスト整合表現を学習し、より良い横断的整合を図る。
• 豊富な偽造ディテールの学習を促進し局所特徴表現を改善するために、マスク画像モデリングタスクを組み込む。
• 平均と共分散の分布差に基づくドメイン整合性損失を導入して、メタ訓練ドメインとメタテストドメインの分布を揃える。
• MAML に触発された Meta-Domain-Embedding Optimizer を適用して、ドメイン固有特徴とドメイン共通特徴を共同で最適化する。
• マルチデータセット設定とドメイン認識型メタ学習ループを用いて、総損失 L_total = L_sis + L_cls + L_mim を最適化してトレーニングする。

実験結果

リサーチクエスチョン

• RQ1 複数の顔偽造データセットでの結合学習は、未知のドメインへの一般化にどう影響するか。
• RQ2 統一検出器は、ドメイン固有の偽造手掛かりとドメイン共通の偽造手掛かりの両方を効果的に学習できるか。
• RQ3 画像とテキストの整合表現とマスク画像モデリングは、横断的なロバスト性を改善するか。
• RQ4 新しいドメイン整合性損失を用いたドメイン認識型メタ学習は、データセット間の一般化を向上させるか。
• RQ5 マルチデータセットベンチマークがディープフェイク検出器の評価に与える影響は何か。

主な発見

• GM-DF は、従来のプロトコルと提案されたベンチマークの双方で、複数データセットおよび未見のドメインに対して強い一般化を達成する。
• ハイブリッドなドメイン特徴と CLIP アラインメントを用いた結合的なマルチデータセット訓練は、AUC および ACC 指標でいくつかのベースラインを上回る。
• 提案されたドメイン整合性損失は、メタ訓練ドメインとメタテストドメイン間の分布ギャップを効果的に縮小する。
• マスク画像モデリングはより豊かな細部表現に寄与し、横断的な設定での検出性能を向上させる。
• Meta-domain 最適化（MDEO）は、ドメイン不変の手掛かりを犠牲にすることなく、ドメイン固有の特徴の学習を促進し、横断的なロバストネスを高める。