[论文解读] Level Up the Deepfake Detection: a Method to Effectively Discriminate Images Generated by GAN Architectures and Diffusion Models

Luca Guarnera, Oliver Giudice+1 more|arXiv (Cornell University)|Mar 1, 2023

Digital Media Forensic Detection被引用 4

一句话总结

本文提出一种基于ResNet-34模型的分层多级深度伪造检测框架，将图像分类为14个类别：9种GAN架构、4种扩散模型（DMs）以及3个原始数据集。该方法在所有任务中均实现了超过97%的准确率——包括真实与AI生成图像的区分、GAN与DM的对比，以及具体架构识别——通过使用包含83,000张图像的专用数据集和分层分类策略，优于当前最先进方法。

ABSTRACT

The image deepfake detection task has been greatly addressed by the scientific community to discriminate real images from those generated by Artificial Intelligence (AI) models: a binary classification task. In this work, the deepfake detection and recognition task was investigated by collecting a dedicated dataset of pristine images and fake ones generated by 9 different Generative Adversarial Network (GAN) architectures and by 4 additional Diffusion Models (DM). A hierarchical multi-level approach was then introduced to solve three different deepfake detection and recognition tasks: (i) Real Vs AI generated; (ii) GANs Vs DMs; (iii) AI specific architecture recognition. Experimental results demonstrated, in each case, more than 97% classification accuracy, outperforming state-of-the-art methods.

研究动机与目标

• 应对由GAN和扩散模型（DMs）生成的合成图像日益逼真、难以与真实内容区分所带来的检测挑战。
• 克服现有深度伪造检测方法主要聚焦于二元分类（真实 vs. 假）且在识别具体生成模型方面缺乏粒度的局限性。
• 开发一种全面的取证解决方案，不仅能检测AI生成内容，还能识别其生成过程中所使用的具体GAN或DM架构。
• 通过多级分类实现合成图像来源的重建，支持数字媒体中的取证弹道分析，推动更深层次的多媒体取证。

提出的方法

• 构建了一个包含83,000张图像的专用数据集：40,500张来自CelebA、FFHQ和ImageNet的原始图像，以及42,500张来自9种GAN和4种DM的合成图像。
• 设计了一个三级分层分类流程：(1) 真实图像 vs. AI生成图像，(2) GAN vs. DM，(3) 具体GAN或DM架构的识别。
• 在每个层级上使用ImageNet预训练权重进行迁移学习，微调全连接层以完成相应的分类任务。
• 采用级联推理策略，早期层级的预测结果引导后续层级的输入，从而提升整体准确率和模型专业化程度。
• 通过对比ResNet-18与ResNet-34的性能，选择ResNet-34作为最终架构，因其在所有层级上均表现更优。
• 采用标准训练协议，每个层级使用50%训练集、20%验证集和30%测试集，确保模型泛化能力强且评估可靠。

实验结果

研究问题

• RQ1 分层深度学习框架能否有效区分由多种GAN和扩散模型架构生成的图像与真实图像？
• RQ2 与平面化的单阶段分类相比，多级分类方法在深度伪造取证中能在多大程度上提升检测准确率？
• RQ3 在现代生成模型日益多样化和逼真的背景下，该方法在识别具体GAN和DM架构方面表现如何？
• RQ4 在现有最先进深度伪造检测方法中，包含扩散模型生成图像是否会影响其性能，特别是在真实与AI生成图像的二元分类任务中？
• RQ5 该分层方法是否能通过追踪所用生成模型，支持复杂多源合成媒体中图像来源的取证重建？

主要发现

• 在一级任务（真实图像 vs. AI生成图像）中，分层方法达到了97.63%的分类准确率，显著优于当前最先进方法如AutoGAN（68.5%）和Fakespotter（74.22%）。
• 在二级任务（GAN与DM区分）中，该方法准确率达到98.01%，展现出有效分离两种不同生成范式的能力，而这一任务在以往研究中基本未被关注。
• 在三级任务中，模型在识别具体GAN架构方面达到97.77%的准确率，在识别具体扩散模型方面达到98.02%，凸显其在细粒度模型归属方面的精确性。
• ResNet-34在所有层级上均优于ResNet-18，一级任务中准确率提升最高达2.39个百分点，三级任务中DM识别准确率提升达2.73个百分点。
• 在训练数据中引入DM生成图像显著降低了现有方法的性能（例如，DE-FAKE在真实与AI生成图像分类任务中准确率降至90.52%），而所提方法仍保持超过97%的准确率，证明其对DM的鲁棒性。
• 结果表明，DM在生成图像中留下可被可靠检测并用于模型识别的独特统计痕迹，这是未来取证分析的关键洞见。