[論文レビュー] Delving into Sequential Patches for Deepfake Detection

Jiazhi Guan, Hang Zhou+5 more|arXiv (Cornell University)|Jul 6, 2022

Generative Adversarial Networks and Image Synthesis被引用数 21

ひとこと要約

本論文は、局所パッチの系列をTransformerブロックとクロスパッチ一貫性メカニズムでモデル化する、ディープフェイク検出の局所・時相認識型トランスフォーマーLTTDを提案し、データセット間の一般化性能とロバスト性の最先端を達成します。

ABSTRACT

Recent advances in face forgery techniques produce nearly visually untraceable deepfake videos, which could be leveraged with malicious intentions. As a result, researchers have been devoted to deepfake detection. Previous studies have identified the importance of local low-level cues and temporal information in pursuit to generalize well across deepfake methods, however, they still suffer from robustness problem against post-processings. In this work, we propose the Local- & Temporal-aware Transformer-based Deepfake Detection (LTTD) framework, which adopts a local-to-global learning protocol with a particular focus on the valuable temporal information within local sequences. Specifically, we propose a Local Sequence Transformer (LST), which models the temporal consistency on sequences of restricted spatial regions, where low-level information is hierarchically enhanced with shallow layers of learned 3D filters. Based on the local temporal embeddings, we then achieve the final classification in a global contrastive way. Extensive experiments on popular datasets validate that our approach effectively spots local forgery cues and achieves state-of-the-art performance.

研究の動機と目的

• 見られた偽造手法を超えて一般化する堅牢なディープフェイク検出を動機づける。
• 後処理と劣化に耐えるための局所的な低レベル時相手の手がかりを活用する。
• 局所領域での時系列整合性を強調するパッチ系列トランスフォーマーフレームワークを開発する。
• パッチレベルの情報を統合してグローバルな決定へ導くCPI損失とCPAモジュールを導入する。

提案手法

• 映像フレームを空間パッチに分割し、時間軸に沿ってパッチ系列を形成する。
• Self-attentionの前に低レベルの時相特徴を強化する3D畳み込みを用いたLocal Sequence Transformer (LST)を使用する。
• 浅いConv3Dと多段階のTransformerブロックを通じて低レベルの時相情報を注入する。
• パッチ埋め込み間のグローバル対比的一貫性を強制するCross-Patch Inconsistency (CPI)損失を適用する。
• Local情報をCross-Patch Aggregation (CPA)とクラス・トークンで統合し最終的な二値予測を行う。
• L = BCE + λ · L_CPI (λ = 1e-3)で端から端まで訓練する。

実験結果

リサーチクエスチョン

• RQ1 トランスフォーマーで局所パッチの系列をモデリングすることは、未知のディープフェイク手法への一般化を改善するか。
• RQ2 局所的時相情報とクロスパッチ一貫性を取り入れることで、後処理や圧縮に対するロバスト性が高まるか。
• RQ3 CPI損失とCPA統合は、検出のためのパッチレベルの時相的不整合をどれだけ有効に活用できるか。

主な発見

モデル	CelebDF	DFDC	FaceSh	DeepFo	Average
CNN-GRU	69.8	68.9	80.8	74.1	73.4
Multi-task	75.5	68.1	66.0	77.7	71.9
PatchForensics	69.6	65.6	57.8	81.8	68.7
FWA	69.5	67.3	65.5	50.2	63.1
Face X-ray	79.5	65.5	92.8	86.8	81.2
PCL+I2G	90.0	67.5	-	99.4	85.6
SBI+EB4	89.9	74.9	97.4	77.7	85.0
LipForensics	82.4	73.5	97.1	97.6	87.7
FTCN-TT	86.9	74.0	98.8	98.8	89.6
LTTD (ours)	89.3	80.4	99.5	98.5	91.9

• FF++（HQ）で訓練し、他データセットで評価した場合、平均AUC 91.9で最先端の一般化性能を達成。
• クロスデータセットシナリオ（CelebDF, DFDC, FaceSh, DeepFo）で現代的な検出器を上回る。
• 圧縮、ノイズ、ブラーなどの一般的な摂動に対してロバスト性を示し、摂動動画での平均AUCが高い。
• 各コンポーネント（LST、CPI、CPA）の影響を示すアブレーションで、全体のLTTDがクロスデータセットの結果で優越する。
• 局所的な低レベル強化を伴う時系列パッチモデリングは、意味論的集中または純粋な低レベル手法よりも一般化可能な表現を生み出す。
• 可視化は、LTTDが実際とディープフェイクの一つの統一的な多様体を形成することを示す一方、従来のCNN/ViTベースラインは偽造手法でクラスタリングされる。