[论文解读] Media Forensics and Deepfake Systematic Survey

Nadeem Jabbar CH, Aqib Saghir+4 more|arXiv (Cornell University)|Jun 19, 2024

Digital Media Forensic Detection被引用 1

一句话总结

本篇系统性综述对深度伪造生成与检测技术进行了全面分析，将深度伪造方法分类为面部重演、人脸替换、人脸编辑和人脸合成。通过FF++和CelebA-HQ等基准数据集评估深度伪造检测模型，准确率最高达99.97%，并识别出检测中的关键挑战，包括基于GAN的伪影以及音视频不一致问题。

ABSTRACT

Deepfake is a generative deep learning algorithm that creates or changes facial features in a very realistic way making it hard to differentiate the real from the fake features It can be used to make movies look better as well as to spread false information by imitating famous people In this paper many different ways to make a Deepfake are explained analyzed and separated categorically Using Deepfake datasets models are trained and tested for reliability through experiments Deepfakes are a type of facial manipulation that allow people to change their entire faces identities attributes and expressions The trends in the available Deepfake datasets are also discussed with a focus on how they have changed Using Deep learning a general Deepfake detection model is made Moreover the problems in making and detecting Deepfakes are also mentioned As a result of this survey it is expected that the development of new Deepfake based imaging tools will speed up in the future This survey gives indepth review of methods for manipulating images of face and various techniques to spot altered face images Four types of facial manipulation are specifically discussed which are attribute manipulation expression swap entire face synthesis and identity swap Across every manipulation category we yield information on manipulation techniques significant benchmarks for technical evaluation of counterfeit detection techniques available public databases and a summary of the outcomes of all such analyses From all of the topics in the survey we focus on the most recent development of Deepfake showing its advances and obstacles in detecting fake images

研究动机与目标

• 提供深度伪造生成技术及其在面部操控中演进的系统性综述。
• 分析并分类图像与视频模态下的深度伪造检测方法。
• 使用标准化数据集和基准测试评估基于深度学习的检测模型性能。
• 识别当前深度伪造检测中的关键挑战与局限性，包括泛化能力与鲁棒性问题。
• 通过指出现有数据集、检测技术及实际应用中的研究空白，为未来研究提供指导。

提出的方法

• 将深度伪造生成分为四类：面部重演、人脸替换、人脸编辑和人脸合成。
• 综述用于检测的深度学习模型，如GAN（例如StyleGAN、StarGAN、ATTGAN）、CNN（例如ResNet-18、Xception）和孪生网络。
• 采用取证分析技术，包括音视频同步检查、唇部动作与音素不匹配分析，以及眼球注视一致性检测。
• 应用统计与深度学习方法，如MDS（不匹配检测得分）、Shapley值和EM（期望最大化）算法，用于特征建模。
• 利用运动放大时空表征（MMSTR）检测细微生理信号，如心跳节律。
• 使用FF++、CelebA-HQ、DFDC和VGGFace2等公开数据集，通过准确率指标评估检测性能，涵盖多种模型。

实验结果

研究问题

• RQ1 深度伪造生成的主要类别和技术方法有哪些？它们在实现方式和影响上存在哪些差异？
• RQ2 哪些深度学习模型和取证技术在检测深度伪造图像与视频方面表现出最高准确率？
• RQ3 音视频不一致（如唇音不同步错误和音素-视觉符号不匹配）如何促进深度伪造检测？
• RQ4 当前深度伪造检测存在哪些局限性与挑战，特别是跨数据集泛化与实际部署中的问题？
• RQ5 物理与解剖学约束（如眼球对称性与面部结构）如何辅助识别GAN生成的虚假人脸？

主要发现

• FF++数据集是深度伪造检测研究中最广泛使用的基准，作为主要评估标准。
• 基于深度学习的模型，尤其是CNN和孪生网络，检测准确率较高，其中ResNet-18和Xception模型在CelebA-HQ上达到99.97%的准确率。
• 基于音素-视觉符号不匹配的音视频不一致性检测在A2V和T2V数据集上达到96.9%的准确率，凸显时间对齐的重要性。
• 采用运动放大时空表征（MMSTR）的Deep Rhythm技术在FF++数据集上实现99.7%的检测准确率。
• 眼球注视一致性与两眼间距分析提升了检测效果，基于三层次全连接网络在FaceForensics++数据集上达到93.28%的准确率。
• 基于隐藏伪影的取证技术（如通过EM方法进行局部特征建模）在CelebA和LFW数据集上以90.22%的准确率识别出GAN生成的人脸，显示出良好前景。