[论文解读] Detecting Deepfakes with Self-Blended Images

Kaede Shiohara, Toshihiko Yamasaki|arXiv (Cornell University)|Apr 18, 2022

Digital Media Forensic Detection被引用 8

一句话总结

本文提出自融合图像（SBIs），一种用于深度伪造检测的新型合成训练数据方法，通过混合单张真实图像的轻微变换版本，生成难以检测的伪造样本。通过模拟常见的伪造痕迹（如融合边界和色彩不匹配），SBIs 提升了模型的泛化能力，在跨数据集评估中分别在 DFDC 和 DFDCP 上超越先前方法 4.90% 和 11.78%，达到当前最先进性能。

ABSTRACT

In this paper, we present novel synthetic training data called self-blended images (SBIs) to detect deepfakes. SBIs are generated by blending pseudo source and target images from single pristine images, reproducing common forgery artifacts (e.g., blending boundaries and statistical inconsistencies between source and target images). The key idea behind SBIs is that more general and hardly recognizable fake samples encourage classifiers to learn generic and robust representations without overfitting to manipulation-specific artifacts. We compare our approach with state-of-the-art methods on FF++, CDF, DFD, DFDC, DFDCP, and FFIW datasets by following the standard cross-dataset and cross-manipulation protocols. Extensive experiments show that our method improves the model generalization to unknown manipulations and scenes. In particular, on DFDC and DFDCP where existing methods suffer from the domain gap between the training and test sets, our approach outperforms the baseline by 4.90% and 11.78% points in the cross-dataset evaluation, respectively.

研究动机与目标

• 为解决在跨数据集和跨伪造手法场景下，模型对未见过的伪造内容失效的泛化挑战。
• 克服现有合成数据生成方法依赖成对不同真实图像或在高压缩、低质量数据集上失效的局限性。
• 开发一种计算高效的方法，无需昂贵的关键点匹配或大规模数据处理，即可生成多样化、富含伪造痕迹的虚假样本。
• 通过聚焦于细微且普遍存在的伪造痕迹而非特定于伪造手法的特征，训练出具备通用性与鲁棒性的深度伪造检测模型。

提出的方法

• 通过在单张原始图像上应用图像变换（如色彩抖动、锐化、缩放、平移）生成伪源图像和目标图像，生成 SBIs。
• 掩码生成器利用面部关键点生成多样化的融合掩码，再将源图像与目标图像结合生成单一 SBI。
• 源-目标生成器（STG）与掩码生成器（MG）独立运行，避免了先前方法中计算成本高昂的最近邻关键点搜索。
• 该方法主动生成伪造痕迹，如融合边界、关键点错位、色彩不一致以及频域异常。
• SBIs 用于训练深度伪造检测器，无需真实伪造图像，可仅使用合成数据实现端到端训练。
• 该方法提升了训练效率，并通过强调通用且难以察觉的伪造痕迹，避免了对特定伪造风格的过拟合。

实验结果

研究问题

• RQ1 是否可以通过强调通用且难以察觉的伪造痕迹的合成训练数据，提升深度伪造检测在未见数据集和伪造类型上的泛化能力？
• RQ2 自融合图像生成方法与依赖成对不同真实图像进行数据合成的现有方法相比有何差异？
• RQ3 摒弃基于关键点的源图像选择在多大程度上提升了训练效率和模型鲁棒性？
• RQ4 从单张图像生成伪造痕迹是否比使用多张真实图像的方法带来更优的表征学习效果？
• RQ5 SBIs 是否能泛化到未见过的伪造技术（如 FaceSwap、FOMA 和 Neural Texture Transfer）？

主要发现

• 在 DFDC 数据集上，所提方法在跨数据集评估中比当前最先进无监督基线提升 4.90%。
• 在更具挑战性的 DFDCP 数据集上，同一基线的性能提升达到 11.78%，展现出强大的域泛化能力。
• 在跨伪造类型评估中，对未见伪造类型（DF、F2F、FS、NT）的 AUC 分数分别为 99.99%、99.88%、99.91% 和 98.79%。
• 在完整的 FF++ 评估中，该方法达到 99.64% AUC，尽管在训练集上已出现模型饱和，仍超越了先前最先进水平（99.11%）。
• 与 BI（融合图像）联合训练的性能低于仅使用 SBIs，表明 SBIs 在泛化方面更具优势。
• 对 BI 应用源-目标增强可提升性能，但仍不及 SBIs，证实了自融合与双重增强的双重重要性。