[论文解读] Fighting Malicious Media Data: A Survey on Tampering Detection and Deepfake Detection

Junke Wang, Zhenxin Li+5 more|arXiv (Cornell University)|Dec 12, 2022

Digital Media Forensic Detection被引用 7

一句话总结

本综述全面回顾了基于深度学习的媒体篡改与Deepfake检测方法，重点聚焦于通过不一致性建模和鲁棒特征学习实现伪造痕迹检测。该研究将篡改检测（通用图像篡改）与Deepfake检测（人脸特异性篡改）统一于共同的取证原则之下，提供了关于数据集、技术、挑战及未来研究方向的见解，重点关注鲁棒性、可解释性与多模态分析。

ABSTRACT

Online media data, in the forms of images and videos, are becoming mainstream communication channels. However, recent advances in deep learning, particularly deep generative models, open the doors for producing perceptually convincing images and videos at a low cost, which not only poses a serious threat to the trustworthiness of digital information but also has severe societal implications. This motivates a growing interest of research in media tampering detection, i.e., using deep learning techniques to examine whether media data have been maliciously manipulated. Depending on the content of the targeted images, media forgery could be divided into image tampering and Deepfake techniques. The former typically moves or erases the visual elements in ordinary images, while the latter manipulates the expressions and even the identity of human faces. Accordingly, the means of defense include image tampering detection and Deepfake detection, which share a wide variety of properties. In this paper, we provide a comprehensive review of the current media tampering detection approaches, and discuss the challenges and trends in this field for future research.

研究动机与目标

• 为应对深度生成模型带来的恶意媒体篡改威胁，此类威胁正损害人们对数字信息的信任。
• 在统一的取证框架下整合篡改检测（通用图像/视频篡改）与Deepfake检测（人脸身份/表情篡改）的研究。
• 识别并分析关键挑战，包括对后处理的鲁棒性、模型归属、多模态分析以及取证检测系统的可解释性。
• 系统性回顾公开数据集、检测技术以及篡改与Deepfake检测领域的最新进展。
• 通过阐明开放挑战与有前景的研究方向，为未来研究提供指导，包括混合规则驱动与深度学习的方法。

提出的方法

• 将媒体伪造检测分为两大类：篡改检测（针对通用图像/视频篡改）与Deepfake检测（针对人脸身份/表情篡改）。
• 通过不一致性建模分析伪造检测，利用生成模型与混合技术引起的像素分布统计偏差。
• 强调使用对常见后处理（如压缩、重采样、模糊）及对抗性扰动保持不变的鲁棒特征。
• 回顾从手工设计特征到深度学习模型的检测技术，包括结合规则分析与神经网络的混合方法。
• 研究多模态融合策略，例如整合视觉伪影与音视频或唇音不同步的差异，以提升检测准确率。
• 通过Grad-CAM等可视化工具提出可解释性改进方案，并倡导使用规则驱动方法以增强取证决策的信任度。

实验结果

研究问题

• RQ1 深度生成模型如何在图像与视频中生成在感知上逼真但可检测的篡改？
• RQ2 常见后处理操作（如压缩、重采样）在多大程度上会降低现有篡改与Deepfake检测模型的性能？
• RQ3 多模态信息（如视觉、音频、唇音同步）是否能显著提升仅依赖RGB图像分析之外的细微伪造检测能力？
• RQ4 模型可解释性与问责制的关键局限是什么？如何在取证深度学习系统中加以解决？
• RQ5 如何在不牺牲检测准确率的前提下，使取证模型对对抗性扰动与真实世界数据失真具备更强鲁棒性？

主要发现

• 篡改检测与Deepfake检测共享核心取证原则，尤其体现在检测生成模型与混合技术引入的不一致性方面。
• 对后处理的鲁棒性仍是主要挑战：在高质量数据上训练的模型在压缩或重采样图像上常表现不佳，FF++数据集上的Grad-CAM可视化已证实此现象。
• 多模态分析——特别是结合视觉伪影与音视频或唇音不同步差异——能显著提升Deepfake检测性能。
• 纯深度学习检测器的可解释性有限；规则驱动方法与混合模型可提供更好的透明度与可信度。
• 模型归属（即识别生成伪造内容所用的GAN或编辑工具）仍研究不足，尽管其在法律与知识产权领域具有重要意义。
• 尽管技术不断进步，目前尚无单一方法能在多样化真实场景中保持一致的高性能，凸显了对更鲁棒、可泛化且可解释的取证解决方案的迫切需求。