[论文解读] Deepfake Detection: A Comparative Analysis

Sohail Ahmed Khan, Duc‐Tien Dang‐Nguyen|arXiv (Cornell University)|Aug 7, 2023

Digital Media Forensic Detection被引用 4

一句话总结

本文对四种基准数据集（FakeAVCeleb、CelebDF-V2、DFDC、FaceForensics++）上的监督学习与自监督学习深度神经网络模型在深度伪造检测中的表现进行了全面的对比分析。研究评估了八种监督学习架构和两种自监督视觉变换器（DINO、CLIP），发现基于ViT的模型，尤其是DINO预训练的ViT-Base，在泛化能力方面优于CNN和CLIP；而数据增强策略并未一致提升性能。

ABSTRACT

This paper present a comprehensive comparative analysis of supervised and self-supervised models for deepfake detection. We evaluate eight supervised deep learning architectures and two transformer-based models pre-trained using self-supervised strategies (DINO, CLIP) on four benchmarks (FakeAVCeleb, CelebDF-V2, DFDC, and FaceForensics++). Our analysis includes intra-dataset and inter-dataset evaluations, examining the best performing models, generalisation capabilities, and impact of augmentations. We also investigate the trade-off between model size and performance. Our main goal is to provide insights into the effectiveness of different deep learning architectures (transformers, CNNs), training strategies (supervised, self-supervised), and deepfake detection benchmarks. These insights can help guide the development of more accurate and reliable deepfake detection systems, which are crucial in mitigating the harmful impact of deepfakes on individuals and society.

研究动机与目标

• 评估不同深度学习架构在深度伪造检测中的性能与泛化能力。
• 对比监督学习与自监督学习策略，尤其关注通过DINO和CLIP预训练的视觉变换器（ViT）模型。
• 评估数据增强策略对不同数据集上模型性能的影响。
• 识别哪类基准数据集最有利于对未见过的深度伪造生成方法实现最佳泛化。
• 为构建更鲁棒、更可靠的深度伪造检测系统提供可操作的见解。

提出的方法

• 在四个深度伪造检测基准数据集上训练并评估八种基于CNN的监督学习架构（如Res2Net-101、MViT-V2、Swin Transformer）。
• 通过冻结特征提取器仅微调分类头的方式，对自监督视觉变换器模型（DINO和CLIP）进行微调。
• 开展同数据集评估（在相同数据集上训练与测试）与跨数据集评估（跨数据集泛化），以评估模型鲁棒性。
• 在训练过程中应用多种图像增强策略，分析其对性能与泛化能力的影响。
• 使用标准指标（如LogLoss、AUC、Accuracy）对所有配置下的模型性能进行定量比较。

实验结果

研究问题

• RQ1 在未见过的深度伪造数据上，哪种深度学习架构（CNN与Transformer）的泛化性能最高？
• RQ2 自监督模型（DINO、CLIP）与监督学习模型在深度伪造检测中表现如何比较，尤其是在跨数据集泛化方面？
• RQ3 数据增强是否在所有基准数据集中一致提升模型性能与泛化能力？
• RQ4 在四个基准数据集（FakeAVCeleb、CelebDF-V2、DFDC、FaceForensics++）中，哪一个最具挑战性，哪一个最有利于实现最佳泛化？
• RQ5 在深度伪造检测中，模型规模与性能及泛化能力之间存在何种关系？

主要发现

• DINO预训练的ViT-Base模型在同数据集评估中表现最佳，优于监督学习的ViT-Base和基于CLIP的模型。
• 在同数据集比较中，基于Transformer的架构（Res2Net-101、MViT-V2、Swin Transformer）整体性能优于CNN，归因于其多尺度特征处理能力。
• 在跨数据集泛化中，视觉变换器模型的表现优于CNN，表明其对分布偏移具有更强的鲁棒性。
• DFDC数据集对模型而言最具挑战性，所有模型在该数据集上的LogLoss最高，AUC/ACC最低。
• FaceForensics++在难度上排名第二，但提供了最佳的泛化性能，在跨数据集评估中优于其他数据集。
• 图像增强并未一致提升性能，反而在某些情况下导致性能下降，尤其在自监督模型上更为明显。