[論文レビュー] Deepfake Detection: A Comparative Analysis

Sohail Ahmed Khan, Duc‐Tien Dang‐Nguyen|arXiv (Cornell University)|Aug 7, 2023

Digital Media Forensic Detection被引用数 4

ひとこと要約

本稿は、4つのベンチマーク（FakeAVCeleb、CelebDF-V2、DFDC、FaceForensics++）における教師ありおよび自己教師あり深層学習モデルの包括的な比較分析を実施している。8つの教師ありアーキテクチャと2つの自己教師ありビジョントランスフォーマー（DINO、CLIP）を評価した結果、ViTベースのモデル、特にDINOで事前学習されたViT-Baseが、CNNやCLIPよりも汎化性能に優れていることが判明した。一方、データオーグメンテーションは一貫した性能向上をもたらさなかった。

ABSTRACT

This paper present a comprehensive comparative analysis of supervised and self-supervised models for deepfake detection. We evaluate eight supervised deep learning architectures and two transformer-based models pre-trained using self-supervised strategies (DINO, CLIP) on four benchmarks (FakeAVCeleb, CelebDF-V2, DFDC, and FaceForensics++). Our analysis includes intra-dataset and inter-dataset evaluations, examining the best performing models, generalisation capabilities, and impact of augmentations. We also investigate the trade-off between model size and performance. Our main goal is to provide insights into the effectiveness of different deep learning architectures (transformers, CNNs), training strategies (supervised, self-supervised), and deepfake detection benchmarks. These insights can help guide the development of more accurate and reliable deepfake detection systems, which are crucial in mitigating the harmful impact of deepfakes on individuals and society.

研究の動機と目的

• 多様な深層学習アーキテクチャの深層偽造検出における性能と汎化能力を評価すること。
• 特にDINOおよびCLIPで事前学習されたビジョントランスフォーマー（ViT）を対象として、教師ありと自己教師ありの学習戦略を比較すること。
• 異なるデータセットにおいて、データオーグメンテーションのモデル性能への影響を評価すること。
• 未学習の深層偽造生成手法に対して最も良い汎化性能を示すベンチマークデータセットを特定すること。
• より強固で信頼性の高い深層偽造検出システムの開発に役立つ実用的知見を提供すること。

提案手法

• 4つの深層偽造検出ベンチマークで、8つの教師ありCNNベースアーキテクチャ（例：Res2Net-101、MViT-V2、Swin Transformer）を訓練・評価すること。
• 特徴抽出部を固定し、分類ヘッドのみを微調整することで、自己教師ありビジョントランスフォーマーモデル（DINOおよびCLIP）を微調整すること。
• 同一データセット内評価（同じデータセットで訓練およびテスト）と異種データセット間評価（クロスデータセット汎化）を実施し、モデルの頑健性を評価すること。
• 訓練時にさまざまな画像オーグメンテーション戦略を適用し、性能および汎化性能への影響を分析すること。
• LogLoss、AUC、Accuracyといった標準指標を用いて、すべての設定におけるモデル性能を定量的に比較すること。

実験結果

リサーチクエスチョン

• RQ1 教師ありと自己教師ありの両方のアーキテクチャにおいて、CNNとトランスフォーマーのどちらが未学習の深層偽造データに対して最も高い汎化性能を達成するか？
• RQ2 自己教師ありモデル（DINO、CLIP）は、教師ありモデルと比較して深層偽造検出において、特に異種データセット間での汎化性能でどう異なるか？
• RQ3 異なるベンチマークにおいて、データオーグメンテーションは一貫してモデル性能と汎化性能を向上させるのか？
• RQ4 4つのベンチマーク（FakeAVCeleb、CelebDF-V2、DFDC、FaceForensics++）の中で、学習が最も困難なのはどれで、最も良い汎化性能を提供するのはどれか？
• RQ5 モデルサイズは、深層偽造検出における性能と汎化性能にどのように関係しているか？

主な発見

• DINOで事前学習されたViT-Baseモデルは、同一データセット内評価で、教師ありViT-BaseおよびCLIPベースのモデルを上回る最高の性能を達成した。
• マルチスケール特徴処理能力のおかげで、トランスフォーマー基盤アーキテクチャ（Res2Net-101、MViT-V2、Swin Transformer）は、CNNよりも同一データセット比較において全体的に優れた性能を示した。
• 異種データセット間の汎化性能においても、ビジョントランスフォーマーモデルがCNNよりも優れた性能を示し、分布シフトに対してより頑健であることが示された。
• DFDCデータセットは、すべてのモデルにおいて最高のLogLossと最低のAUC/ACCスコアを示しており、学習が最も困難であることが判明した。
• FaceForensics++は難易度で2番目に高く、一方で最も優れた汎化性能を提供しており、他のデータセットよりもクロスデータセット評価で優れていた。
• 画像オーグメンテーションは一貫した性能向上をもたらさず、特に自己教師ありモデルでは結果が劣化する場合があった。