[论文解读] A New Approach to Improve Learning-based Deepfake Detection in Realistic Conditions

Yuhang Lu, Touradj Ebrahimi|arXiv (Cornell University)|Mar 22, 2022

Digital Media Forensic Detection被引用 4

一句话总结

本文提出了一种基于真实世界图像退化过程（如JPEG压缩、噪声、模糊和伽马校正）的新颖数据增强方案，以提升基于学习的深度伪造检测器的鲁棒性。通过以随机、级联的方式训练模型，该方法显著增强了对未见退化和处理操作的泛化能力，在受损和未见数据集上实现了更高的AUC分数，同时在原始基准测试中保持了强劲性能。

ABSTRACT

Deep convolutional neural networks have achieved exceptional results on multiple detection and recognition tasks. However, the performance of such detectors are often evaluated in public benchmarks under constrained and non-realistic situations. The impact of conventional distortions and processing operations found in imaging workflows such as compression, noise, and enhancement are not sufficiently studied. Currently, only a few researches have been done to improve the detector robustness to unseen perturbations. This paper proposes a more effective data augmentation scheme based on real-world image degradation process. This novel technique is deployed for deepfake detection tasks and has been evaluated by a more realistic assessment framework. Extensive experiments show that the proposed data augmentation scheme improves generalization ability to unpredictable data distortions and unseen datasets.

研究动机与目标

• 解决深度伪造检测器在面对真实世界图像退化和处理操作（如压缩、噪声和模糊）时缺乏鲁棒性的问题。
• 开发一种模拟自然图像退化过程的数据增强方案，以提升检测器在真实条件下的泛化能力。
• 提出一种严格的评估框架，用于在标准基准之外评估检测器的鲁棒性，涵盖多种处理操作和退化程度。
• 评估所提增强方法在未见数据集和严重退化条件下的性能提升效果。
• 证明随机、级联增强在保持干净数据性能的同时，显著提升对真实世界退化的抗性。

提出的方法

• 所提出的增强方案在训练过程中以随机、级联的方式应用一系列真实世界的图像处理操作，包括JPEG压缩、高斯噪声、高斯模糊和伽马校正。
• 增强操作以随机顺序应用，并采用不同的严重程度，以模拟多样化的现实世界成像工作流程。
• 该方法无缝集成到训练流程中，无需修改模型架构，因此与现有深度伪造检测框架完全兼容。
• 设计了一种新的评估框架，用于在受控、真实的退化和处理操作下评估检测器在测试数据上的表现，且这些操作与训练数据完全隔离。
• 该框架使用标准指标（如AUC、准确率和F1-score）在多种退化类型和严重程度下评估性能。
• 消融研究将所提方案与多种变体进行比较，包括单操作增强和非随机实现，以分离随机性和级联结构的影响。

实验结果

研究问题

• RQ1 在各种真实世界退化条件下，使用真实、级联的数据增强方案训练对深度伪造检测器性能有何影响？
• RQ2 所提增强方案在多大程度上提升了检测器对未见数据集和未见处理操作的泛化能力？
• RQ3 与确定性或单操作替代方案相比，该增强方案的随机实现方式在鲁棒性和干净数据性能方面表现如何？
• RQ4 结合多种真实图像处理操作对检测器鲁棒性有何影响？
• RQ5 所提评估框架能否有效衡量并量化检测器在真实成像条件下的鲁棒性？

主要发现

• 所提数据增强方案在所有测试退化类型（包括JPEG压缩、高斯噪声、模糊和伽马校正）下均显著提升了检测器的鲁棒性，在受损数据上表现出一致的AUC提升。
• 在Celeb-DFv2数据集上，使用所提增强方案训练的Capsule-Forensics模型AUC达到71.86%，相比在原始数据上训练的基线模型（54.39%）提升了17.47%。
• XceptionNet检测器在Celeb-DFv2数据集上，使用所提增强方案训练的AUC为73.88%，相比基线模型（50.00%）提升了23.88%。
• 消融研究证实，增强的随机性和级联特性至关重要：非随机训练导致干净数据性能下降，而单操作增强（如仅噪声）仅对特定退化类型提升鲁棒性。
• 即使在高严重程度退化下，使用所提方案训练的模型仍显著优于基线模型，表现出对不可预测退化的强泛化能力。
• 评估框架成功揭示了标准检测器在真实条件下的性能下降，凸显了传统基准测试的局限性。