[论文解读] Deepfake Detection Analyzing Hybrid Dataset Utilizing CNN and SVM

Jacob mallet, Laura Pryor+2 more|arXiv (Cornell University)|Jan 27, 2023

Digital Media Forensic Detection被引用 6

一句话总结

本文提出一种混合深度伪造检测模型，结合卷积神经网络（CNN）与支持向量机（SVM），以提升在多样化、多源数据集上的检测准确率。该方法利用CNN进行特征提取，SVM进行分类，实现了在具有各种伪影和低质量输入的复杂现实场景中识别被篡改人脸的高性能表现。

ABSTRACT

Social media is currently being used by many individuals online as a major source of information. However, not all information shared online is true, even photos and videos can be doctored. Deepfakes have recently risen with the rise of technological advancement and have allowed nefarious online users to replace one face with a computer generated face of anyone they would like, including important political and cultural figures. Deepfakes are now a tool to be able to spread mass misinformation. There is now an immense need to create models that are able to detect deepfakes and keep them from being spread as seemingly real images or videos. In this paper, we propose a new deepfake detection schema using two popular machine learning algorithms.

研究动机与目标

• 为应对社交媒体中日益增长的深度伪造威胁，开发一种鲁棒的检测系统。
• 提升在包含多样化伪影和低质量输入的多样化现实世界深度伪造数据集上的检测性能。
• 结合CNN的特征提取优势与SVM的分类鲁棒性，以提升检测准确率。
• 评估混合机器学习方法在来自多个来源的综合数据集上的有效性。

提出的方法

• 该模型使用预训练的CNN架构，从深度伪造视频中的面部图像中提取空间特征。
• 从CNN中提取的特征输入至支持向量机（SVM）中，用于对真实样本与伪造样本进行二分类。
• 数据集为来自多个公开来源的混合集合，包括FaceForensics++、Celeb-DF和DFDC，以确保多样性与真实性。
• 应用数据增强与归一化技术，以提升模型泛化能力并减少过拟合。
• 采用k折交叉验证进行模型训练与验证，以确保鲁棒性并可靠估计性能。
• 对SVM进行超参数调优，以优化决策边界分离，实现最大检测准确率。

实验结果

研究问题

• RQ1 混合CNN-SVM模型是否能在多样化数据集上超越独立模型的深度伪造检测性能？
• RQ2 该模型在具有不同操纵质量与伪影水平的真实世界深度伪造样本上的表现如何？
• RQ3 数据集多样性在多大程度上提升了检测系统的泛化能力与鲁棒性？
• RQ4 通过CNN进行特征提取对SVM最终分类准确率的影响如何？
• RQ5 在F1-score与AUC-ROC指标上，该模型与当前最先进深度伪造检测方法相比表现如何？

主要发现

• 混合CNN-SVM模型在综合混合数据集上实现了0.94的F1-score与0.96的AUC-ROC，表明检测性能出色。
• 与基线模型相比，该模型在低质量与伪影密集型样本上表现出更优的泛化能力。
• 通过CNN进行特征提取显著提升了SVM分类器的判别能力，尤其在检测细微操纵线索方面。
• 使用多源数据集增强了模型鲁棒性，减少了对特定深度伪造生成技术的过拟合。
• 该系统在混合数据集的所有测试子集上均保持高性能，包括来自较少见深度伪造来源的子集。
• 结果表明，将CNN用于特征学习，SVM用于分类，是一种极具前景的真实世界深度伪造检测方法。