[论文解读] On the detection of synthetic images generated by diffusion models

Riccardo Corvi, Davide Cozzolino+4 more|arXiv (Cornell University)|Nov 1, 2022

Digital Media Forensic Detection被引用 10

一句话总结

本文研究了扩散模型（DMs）生成的合成图像的可检测性，发现尽管DM生成的图像表现出与GANs类似的细微取证痕迹，但仅在GAN上进行训练的最先进检测器在DM图像上的表现却较差，尤其是在压缩和重采样等真实场景条件下。研究显示，通过DM特定数据微调的检测器可实现高检测准确率（例如，Stable Diffusion上的AUC达97.2%），但跨多种DM架构的泛化能力仍是重大挑战。

ABSTRACT

Over the past decade, there has been tremendous progress in creating synthetic media, mainly thanks to the development of powerful methods based on generative adversarial networks (GAN). Very recently, methods based on diffusion models (DM) have been gaining the spotlight. In addition to providing an impressive level of photorealism, they enable the creation of text-based visual content, opening up new and exciting opportunities in many different application fields, from arts to video games. On the other hand, this property is an additional asset in the hands of malicious users, who can generate and distribute fake media perfectly adapted to their attacks, posing new challenges to the media forensic community. With this work, we seek to understand how difficult it is to distinguish synthetic images generated by diffusion models from pristine ones and whether current state-of-the-art detectors are suitable for the task. To this end, first we expose the forensics traces left by diffusion models, then study how current detectors, developed for GAN-generated images, perform on these new synthetic images, especially in challenging social-networks scenarios involving image compression and resizing. Datasets and code are available at github.com/grip-unina/DMimageDetection.

研究动机与目标

• 评估扩散模型生成的图像是否包含与GAN生成图像类似的可检测取证痕迹。
• 评估现有最先进基于GAN的检测器在真实场景（如压缩和重采样）下对扩散模型生成图像的鲁棒性。
• 研究在DM生成数据上进行训练是否能提升检测器在多种扩散架构上的检测性能。
• 探索融合与校准技术，以提升检测器在多种合成图像源之间的泛化能力。

提出的方法

• 使用最先进的文本到图像扩散模型（包括DALL·E 2、Stable Diffusion、GLIDE和ADM）生成大规模合成图像数据集。
• 应用真实的图像清洗流程——随机裁剪、重采样至200×200像素，以及JPEG压缩（质量因子介于65至100之间）——以模拟社交媒体处理过程。
• 在理想和挑战性条件下，对基于深度学习的检测器（包括Grag2021）在GAN和DM生成图像上进行训练与评估。
• 融合在不同源类型（如ProGAN和Latent Diffusion）上训练的模型的预测结果，以提升跨架构检测能力。
• 应用Platt缩放进行概率校准，以提升低精度场景下的检测准确率。
• 开展消融实验，比较不同扩散模型和训练策略下的检测器性能。

实验结果

研究问题

• RQ1 扩散模型生成的图像是否表现出与GAN生成图像类似的可检测取证痕迹？
• RQ2 当前最先进的基于GAN的检测器在真实图像处理（如压缩和重采样）条件下检测扩散模型生成图像的表现如何？
• RQ3 在特定扩散模型上训练检测器，能在多大程度上提升其对相似或不同扩散架构图像的检测能力？
• RQ4 模型融合与校准能否显著提升在多种合成图像源上的检测准确率？

主要发现

• 扩散模型生成的图像确实表现出可检测的取证痕迹，但这些痕迹在不同扩散架构之间差异显著，例如DALL·E 2和ADM表现出较弱的伪影。
• 在真实条件下，最先进的基于GAN的检测器在DM生成图像上的表现较差，平均准确率降至约50%，表明泛化能力不足。
• 在Latent Diffusion或Stable Diffusion数据上专门训练的检测器，在其对应源模型上实现了近乎完美的检测性能（AUC > 99.8%），凸显了源特定训练的重要性。
• 在不同源类型上训练的模型进行融合后，平均AUC提升至94.1%，但由于阈值设定不理想，准确率仍较低（64.5%）。
• 通过Platt缩放进行校准后，融合后的检测准确率显著提升（最高达87.8%），但对具有显著不同伪影特征的模型（如DALL·E 2和ADM）检测仍不可靠。
• 本研究证实，即使采用先进的融合与校准技术，跨多种扩散模型的泛化能力仍是关键挑战。