[论文解读] Learning to Recognize Patch-Wise Consistency for Deepfake Detection.

Tianchen Zhao, Xiang Xu+4 more|arXiv (Cornell University)|Dec 16, 2020

Digital Media Forensic Detection参考文献 36被引用 10

一句话总结

本文提出了一种名为基于补丁一致性学习（PCL）的新颖表示学习方法，用于深度伪造检测，该方法利用了在操纵人脸中固有的补丁级源一致性特性。通过使用不一致图像生成器（I2G）在合成的不一致数据上进行训练，PCL在跨数据集和跨数据集评估中平均AUC性能均优于先前方法2%和8%，达到最先进水平。

ABSTRACT

We propose to detect Deepfake generated by face manipulation based on one of their fundamental features: images are blended by patches from multiple sources, carrying distinct and persistent source features. In particular, we propose a novel representation learning approach for this task, called patch-wise consistency learning (PCL). It learns by measuring the consistency of image source features, resulting to representation with good interpretability and robustness to multiple forgery methods. We develop an inconsistency image generator (I2G) to generate training data for PCL and boost its robustness. We evaluate our approach on seven popular Deepfake detection datasets. Our model achieves superior detection accuracy and generalizes well to unseen generation methods. On average, our model outperforms the state-of-the-art in terms of AUC by 2% and 8% in the in- and cross-dataset evaluation, respectively.

研究动机与目标

• 为解决由人脸操纵生成的深度伪造检测挑战，这些伪造品通常混合了来自多个源的补丁。
• 开发一种表示学习方法，以捕捉并利用这些补丁中持续存在的源特征，从而提升检测性能。
• 通过生成合成训练数据，增强模型对多样化伪造方法的鲁棒性。
• 提升模型对训练分布之外未见生成技术的泛化能力。
• 在实现可解释且一致的表示的同时，实现卓越的检测准确率。

提出的方法

• 提出基于补丁一致性学习（PCL）的表示学习框架，通过测量图像补丁间源特征的一致性。
• 引入不一致图像生成器（I2G），通过向真实图像中引入人工不一致，合成训练数据，以模拟深度伪造伪影。
• 训练模型识别并学习补丁级源不一致特征，从而增强对各种操纵技术的鲁棒性。
• 采用对比学习原理，对来自一致补丁的特征进行对齐，同时将来自不一致补丁的特征相互推开。
• 利用图像补丁中固有的结构与纹理模式，检测人眼难以察觉的细微操纵。
• 采用自监督学习策略，无需人工标注的伪造标签，从而提升可扩展性。

实验结果

研究问题

• RQ1 源特征的补丁级一致性能否作为检测深度伪造操纵的可靠信号？
• RQ2 如何有效在自监督方式下学习并利用补丁级源一致性？
• RQ3 合成的不一致数据能否提升模型对未见深度伪造生成方法的泛化能力？
• RQ4 所提方法在跨数据集和跨数据集评估中，相较于现有最先进方法，性能提升程度如何？
• RQ5 该模型在实现强大检测性能的同时，是否保持了高度可解释性？

主要发现

• 所提出的PCL模型在数据集内评估中，平均AUC性能相比最先进方法提升2%。
• 在跨数据集评估中，该模型在AUC上平均优于现有方法8%，展现出强大的泛化能力。
• 使用不一致图像生成器（I2G）显著提升了模型对多样化伪造技术的鲁棒性。
• 所学习的表示既可解释又鲁棒，因其显式建模了补丁间源一致性。
• 该模型对未见生成方法具有良好的泛化能力，表明其在不同深度伪造流水线间具有强大的迁移能力。
• 该方法在七个基准深度伪造检测数据集上均达到最先进性能。