[论文解读] Deepfake Video Detection Using Generative Convolutional Vision Transformer

Deressa Wodajo, Solomon Atnafu+1 more|arXiv (Cornell University)|Jul 13, 2023

Digital Media Forensic Detection被引用 4

一句话总结

该论文提出GenConViT，一种新颖的深度伪造视频检测模型，结合ConvNeXt与Swin Transformer进行视觉特征提取，并利用自编码器（AE）与变分自编码器（VAE）建模潜在数据分布。该模型在多个基准测试中实现最先进性能，平均准确率达95.8%，AUC达99.3%，展现出在检测多样化深度伪造视频时出色的泛化能力与鲁棒性。

ABSTRACT

Deepfakes have raised significant concerns due to their potential to spread false information and compromise digital media integrity. In this work, we propose a Generative Convolutional Vision Transformer (GenConViT) for deepfake video detection. Our model combines ConvNeXt and Swin Transformer models for feature extraction, and it utilizes Autoencoder and Variational Autoencoder to learn from the latent data distribution. By learning from the visual artifacts and latent data distribution, GenConViT achieves improved performance in detecting a wide range of deepfake videos. The model is trained and evaluated on DFDC, FF++, DeepfakeTIMIT, and Celeb-DF v2 datasets, achieving high classification accuracy, F1 scores, and AUC values. The proposed GenConViT model demonstrates robust performance in deepfake video detection, with an average accuracy of 95.8% and an AUC value of 99.3% across the tested datasets. Our proposed model addresses the challenge of generalizability in deepfake detection by leveraging visual and latent features and providing an effective solution for identifying a wide range of fake videos while preserving media integrity. The code for GenConViT is available at https://github.com/erprogs/GenConViT.

研究动机与目标

• 解决深度伪造检测在多样化视频分布下的泛化能力挑战。
• 克服现有方法仅依赖视觉伪影而对未见深度伪造类型失效的局限性。
• 通过联合建模视觉特征与潜在数据分布，提升检测鲁棒性。
• 构建统一架构，有效捕捉视频序列中的局部与全局时空模式。
• 为真实世界应用中维护数字媒体完整性提供可靠解决方案。

提出的方法

• 整合ConvNeXt与Swin Transformer，从视频帧中提取分层的局部与全局视觉特征。
• 采用自编码器（AE）与变分自编码器（VAE）学习真实视频的潜在数据分布。
• 利用AE与VAE的重建输出与原始帧进行比较，识别出指示篡改的差异。
• 将ConvNeXt与Swin Transformer提取的视觉特征，与AE及VAE的重建误差进行融合，用于最终分类。
• 在多个深度伪造数据集上端到端训练模型，使用交叉熵损失，并通过AdamW进行优化。
• 应用数据增强与类别平衡技术，提升模型泛化能力并防止过拟合。

Figure 1 : The Proposed Generative Convolutional Vision Transformer (GenConViT) Deepfake Detection Framework.

实验结果

研究问题

• RQ1 结合视觉特征提取与潜在分布建模是否能提升深度伪造检测的泛化能力？
• RQ2 GenConViT在DFDC、FF++、DeepfakeTIMIT与Celeb-DF（v2）等多样化深度伪造数据集上的表现如何？
• RQ3 同时建模视觉伪影与内部数据表征在多大程度上增强检测鲁棒性？
• RQ4 在基准数据集上，GenConViT与最先进模型相比，在准确率、AUC与F1-score方面表现如何？
• RQ5 将ConvNeXt与Swin Transformer结合生成模型，是否比独立架构获得更优性能？

主要发现

• GenConViT在DFDC数据集上实现98.5%的准确率与99.9%的AUC，优于先前最先进模型。
• 在FF++数据集上，模型达到97.0%的准确率与99.6%的AUC，F1-score为97.1%，展现出对多样化深度伪造类型的强性能。
• 在Celeb-DF（v2）上，模型保持高性能，F1-score达95.5%，AUC为98.1%，表明对复杂篡改具有鲁棒性。
• GenConViT在所有测试数据集上实现95.8%的平均准确率与99.3%的平均AUC，证实其强大泛化能力。
• GenConViT(B)略优于GenConViT(A)，在FF++上实现99.6%的AUC与96.8%的F1-score，凸显架构优化的有效性。
• 模型在所有指标上表现持续优异，尤其在AUC与F1-score方面，表明其在真实与伪造类别间具有强大判别能力。

(a) Input Sample Images