[论文解读] Beyond the Spectrum: Detecting Deepfakes via Re-Synthesis

Yang He, Ning Yu+2 more|arXiv (Cornell University)|May 29, 2021

Digital Media Forensic Detection参考文献 39被引用 6

一句话总结

本文提出了一种新颖的深度伪造检测方法，通过超分辨率、去噪和色彩化进行再合成，以提取鲁棒的高层视觉特征，从而区分真实图像与伪造图像。通过在真实图像上训练再合成器，并分析多阶段重建误差，该方法在CelebA-HQ、FFHQ和LSUN数据集上实现了更高的检测准确率、跨架构泛化能力以及对对抗性扰动的鲁棒性，优于基于频域的方法。

ABSTRACT

The rapid advances in deep generative models over the past years have led to highly realistic media, known as deepfakes, that are commonly indistinguishable from real to human eyes. These advances make assessing the authenticity of visual data increasingly difficult and pose a misinformation threat to the trustworthiness of visual content in general. Although recent work has shown strong detection accuracy of such deepfakes, the success largely relies on identifying frequency artifacts in the generated images, which will not yield a sustainable detection approach as generative models continue evolving and closing the gap to real images. In order to overcome this issue, we propose a novel fake detection that is designed to re-synthesize testing images and extract visual cues for detection. The re-synthesis procedure is flexible, allowing us to incorporate a series of visual tasks - we adopt super-resolution, denoising and colorization as the re-synthesis. We demonstrate the improved effectiveness, cross-GAN generalization, and robustness against perturbations of our approach in a variety of detection scenarios involving multiple generators over CelebA-HQ, FFHQ, and LSUN datasets. Source code is available at https://github.com/SSAW14/BeyondtheSpectrum.

研究动机与目标

• 解决现有深度伪造检测器依赖于易被先进GAN隐藏的脆弱低级或频域特征的局限性。
• 通过利用再合成生成的分层视觉线索，开发一种对不断演化的GAN架构和对抗性扰动具有鲁棒性的检测方法。
• 提升在多样化数据集和未见过的生成器上检测深度伪造的跨架构泛化能力和鲁棒性。
• 证明多任务再合成产生的高层重建误差比传统频域分析或局部特征分析提供更可靠的特征。

提出的方法

• 在真实图像上使用超分辨率、去噪和色彩化三种视觉任务训练再合成器，以建模自然图像先验。
• 再合成器处理真实和伪造图像，在网络的多个阶段生成重建误差。
• 通过在多阶段重建误差特征上训练分类器实现检测，这些特征对频域特征不敏感。
• 该方法使用像素级输入和阶段特定特征（如第5层）提取具有判别性且与检测器无关的表示。
• 通过在再合成过程中引入噪声输入，避免过拟合，增强对扰动的鲁棒性。
• 分类器在重建误差上端到端训练，无需依赖频域模式即可实现检测。

实验结果

研究问题

• RQ1 基于再合成的特征是否能超越对频域特征的依赖，提升深度伪造检测性能？
• RQ2 多任务再合成（超分辨率、去噪、色彩化）如何增强检测的鲁棒性和泛化能力？
• RQ3 该方法在StyleGAN、StyleGAN2和ProGAN等不同GAN架构上的泛化程度如何？
• RQ4 当传统特征被对抗性扰动隐藏时，该方法的性能表现如何？
• RQ5 再合成器产生的分层重建误差能否作为比低级特征或频域特征更可持续的特征表示？

主要发现

• 在FFHQ数据集上使用StyleGAN2生成的深度伪造图像，该方法在SR+C再合成下于扰动条件下实现了92.7%的准确率，优于DCT-2d（80.0%）和其他SOTA方法。
• 第5层重建误差模型在FFHQ数据集上使用StyleGAN生成的图像实现了87.7%的准确率，表明其在不同GAN类型间具有强大的泛化能力。
• 在LSUN数据集上，SR+C和SR+D变体在扰动条件下保持了超过95%的准确率，而其他方法下降至70%以下。
• 基于像素的再合成模型在FFHQ上的平均准确率达到78.7%，优于DCT-2d在StyleGAN2上的表现，表明其鲁棒性得到提升。
• 类激活图显示，该方法关注LSUN中的背景区域，这些区域更难生成，表明对结构不一致性的敏感性。
• 该方法在对抗性扰动下表现出更优的稳定性和鲁棒性，尤其在结合多个再合成任务时效果更显著。