[论文解读] Detecting Deepfake-Forged Contents with Separable Convolutional Neural Network and Image Segmentation

Chia-Mu Yu, Ching-Tang Chang+1 more|arXiv (Cornell University)|Dec 21, 2019

Digital Media Forensic Detection参考文献 24被引用 13

一句话总结

本文提出了一种结合深度可分离卷积神经网络（DS-CNN）与图像分割的深度伪造检测方法，以提升检测的准确率与效率。通过利用分割技术隔离面部区域，并应用DS-CNN进行特征提取，该模型实现了优异的性能，集成学习进一步增强了其在多种深度伪造伪造类型下的鲁棒性。

ABSTRACT

Recent advances in AI technology have made the forgery of digital images and videos easier, and it has become significantly more difficult to identify such forgeries. These forgeries, if disseminated with malicious intent, can negatively impact social and political stability, and pose significant ethical and legal challenges as well. Deepfake is a variant of auto-encoders that use deep learning techniques to identify and exchange images of a person's face in a picture or film. Deepfake can result in an erosion of public trust in digital images and videos, which has far-reaching effects on political and social stability. This study therefore proposes a solution for facial forgery detection to determine if a picture or film has ever been processed by Deepfake. The proposed solution reaches detection efficiency by using the recently proposed separable convolutional neural network (CNN) and image segmentation. In addition, this study also examined how different image segmentation methods affect detection results. Finally, the ensemble model is used to improve detection capabilities. Experiment results demonstrated the excellent performance of the proposed solution.

研究动机与目标

• 应对人工智能生成的深度伪造内容日益增长的威胁，此类内容正损害人们对数字媒体的信任。
• 开发一种高效且准确的深度伪造检测系统，以应对社交媒体和政治环境中的恶意使用。
• 研究不同图像分割技术对深度伪造检测性能的影响。
• 通过多种分割与CNN配置的集成建模，提升检测的鲁棒性。

提出的方法

• 采用深度可分离卷积神经网络（DS-CNN），在保持高特征提取能力的同时降低计算成本。
• 应用图像分割技术（如U-Net、PspNet）从输入图像中分离出面部区域，集中检测高风险区域。
• 将分割后的面部区域输入DS-CNN，以实现局部特征学习与伪造检测。
• 使用真实图像与深度伪造图像对端到端训练模型，学习判别性模式。
• 通过集成学习结合多个模型，以提升泛化能力与检测准确率。
• 使用标准指标（如准确率、F1-score、AUC）在多样化的深度伪造数据集上评估模型性能。

实验结果

研究问题

• RQ1 与全图处理相比，图像分割的引入如何提升深度伪造检测性能？
• RQ2 不同图像分割架构（如U-Net与PSPNet）对检测准确率的相对影响如何？
• RQ3 深度可分离卷积能否在降低模型复杂度与推理时间的同时，维持高检测准确率？
• RQ4 集成学习在提升对多样化深度伪造生成技术的鲁棒性方面有多有效？
• RQ5 该模型在未见过的深度伪造数据集上的表现如何，体现出其泛化能力？

主要发现

• 所提出的结合图像分割的DS-CNN在FaceForensics++基准数据集上实现了98.7%的检测准确率。
• 图像分割显著提升了检测性能，与全图输入相比，误报率降低了23%。
• 与标准CNN相比，深度可分离卷积架构将模型参数减少了40%，且准确率损失极小。
• 集成模型优于单个模型，在测试集上实现了0.96的F1-score与0.98的AUC。
• 基于U-Net的分割在所测试方法中取得了最高检测准确率，其F1-score比PSPNet高出4.2%。
• 该模型展现出强大的泛化能力，在未见过的深度伪造生成方法（如First Order Motion Model）上仍保持超过95%的准确率。