[论文解读] How Generalizable are Deepfake Image Detectors? An Empirical Study

Boquan Li, Jun Sun+2 more|arXiv (Cornell University)|Aug 8, 2023

Digital Media Forensic DetectionComputer Science被引用 3

一句话总结

本文首次对深度伪造检测器的泛化能力进行了实证研究，评估了六个数据集、五种检测模型以及两种增强方法。研究发现，检测器在零样本设置下无法实现泛化，原因是学习了与方法相关的、非判别性的特征；但同时也识别出在可见与不可见数据集之间普遍存在的神经元——这表明通过因果驱动的模型设计，有望实现零样本泛化的检测。

ABSTRACT

Deepfakes are becoming increasingly credible, posing a significant threat given their potential to facilitate fraud or bypass access control systems. This has motivated the development of deepfake detection methods, in which deep learning models are trained to distinguish between real and synthesized footage. Unfortunately, existing detectors struggle to generalize to deepfakes from datasets they were not trained on, but little work has been done to examine why or how this limitation can be addressed. Especially, those single-modality deepfake images reveal little available forgery evidence, posing greater challenges than detecting deepfake videos. In this work, we present the first empirical study on the generalizability of deepfake detectors, an essential goal for detectors to stay one step ahead of attackers. Our study utilizes six deepfake datasets, five deepfake image detection methods, and two model augmentation approaches, confirming that detectors do not generalize in zero-shot settings. Additionally, we find that detectors are learning unwanted properties specific to synthesis methods and struggling to extract discriminative features, limiting their ability to generalize. Finally, we find that there are neurons universally contributing to detection across seen and unseen datasets, suggesting a possible path towards zero-shot generalizability.

研究动机与目标

• 系统评估最先进深度伪造检测器在未见数据集上的泛化能力。
• 探究现有检测器为何在零样本设置下无法泛化，特别是其失败原因。
• 识别检测器是否提取了判别性特征，还是学习了虚假的、与合成方法相关的属性。
• 探索是否存在跨数据集的通用神经元，以实现零样本检测。
• 提供一个公开的存储库，包含检测器和数据集，作为未来评估的基线。

提出的方法

• 在六个深度伪造数据集（包括Celeb-DF和Face2Face）上实证评估五种深度伪造检测模型（MesoNet、MesoInception、ShallowNet、XceptionNet、EfficientNet）。
• 应用两种模型增强技术以提升泛化能力，评估其在可见与不可见数据集上的性能。
• 使用基于激活的可解释性分析与因果分析（基于干预的神经元消融）识别在跨数据集检测中起贡献作用的神经元。
• 进行特征层面分析，评估检测器是否提取了判别性特征，还是依赖于特定合成方法的伪影。
• 使用标准化超参数和原始训练协议训练并验证检测器，以确保一致性和可靠性。
• 发布一个公开的GitHub存储库，包含训练好的模型、数据集和代码，作为未来研究的评估基线。

实验结果

研究问题

• RQ1 当前深度伪造检测器在零样本设置下对未见数据集的泛化程度如何？
• RQ2 深度伪造检测器是否学习了不希望的、与合成方法相关的属性，从而阻碍泛化？
• RQ3 检测器提取的特征是否具备足够的判别性，以支持在多种深度伪造类型间的泛化？
• RQ4 我们能否在深度伪造检测模型中识别出在可见与不可见数据集中均普遍贡献于检测的神经元？

主要发现

• 现有深度伪造检测器在零样本设置下表现出较差的泛化能力，其在未见数据集上的性能显著下降。
• 检测器学习了与特定合成技术相关的、非判别性的特征，这限制了其泛化能力。
• 特征层面分析表明，检测器提取了不受约束的、非判别性的特征，无法支持稳健的泛化。
• 因果分析识别出一组在可见与不可见数据集中均普遍贡献于检测的神经元，提示了实现零样本泛化的潜在路径。
• 这些通用神经元的存在表明，未来检测器可被设计为聚焦于此类特征，从而提升泛化能力。
• 本研究提供了训练好的检测器和数据集的公开存储库，为评估未来深度伪造检测方法提供了标准化基准。