[论文解读] DIRE for Diffusion-Generated Image Detection

Zhendong Wang, Jianmin Bao+5 more|arXiv (Cornell University)|Mar 16, 2023

Generative Adversarial Networks and Image Synthesis被引用 4

一句话总结

本文提出DIRE（扩散重建误差），一种新颖的图像表征方法，通过测量输入图像与其经预训练扩散模型重建结果之间的重建误差，实现对扩散生成图像的高精度检测。该方法利用生成图像比真实图像重建得更准确的事实，在未见过的模型和各类扰动下均实现了最先进性能。

ABSTRACT

Diffusion models have shown remarkable success in visual synthesis, but have also raised concerns about potential abuse for malicious purposes. In this paper, we seek to build a detector for telling apart real images from diffusion-generated images. We find that existing detectors struggle to detect images generated by diffusion models, even if we include generated images from a specific diffusion model in their training data. To address this issue, we propose a novel image representation called DIffusion Reconstruction Error (DIRE), which measures the error between an input image and its reconstruction counterpart by a pre-trained diffusion model. We observe that diffusion-generated images can be approximately reconstructed by a diffusion model while real images cannot. It provides a hint that DIRE can serve as a bridge to distinguish generated and real images. DIRE provides an effective way to detect images generated by most diffusion models, and it is general for detecting generated images from unseen diffusion models and robust to various perturbations. Furthermore, we establish a comprehensive diffusion-generated benchmark including images generated by eight diffusion models to evaluate the performance of diffusion-generated image detectors. Extensive experiments on our collected benchmark demonstrate that DIRE exhibits superiority over previous generated-image detectors. The code and dataset are available at https://github.com/ZhendongWang6/DIRE.

研究动机与目标

• 为应对扩散生成图像带来的隐私和深度伪造风险，解决其可靠检测的迫切需求。
• 克服现有检测器在不同扩散模型之间泛化能力差的问题，即使在相似数据上进行训练也难以泛化。
• 开发一种可泛化、鲁棒且高效的检测框架，适用于未见过的扩散模型和各类扰动。
• 构建一个全面的基准数据集，用于评估扩散生成图像检测器的性能。
• 证明真实图像与生成图像之间重建误差的差异可作为强大且可泛化的检测信号。

提出的方法

• 提出DIRE作为新图像表征，计算方式为原始图像与经预训练扩散模型重建结果之间的绝对差值。
• 采用基于DDIM的反演与去噪方法重建输入图像，利用扩散模型能更准确地重建自身生成输出的特性。
• 在DIRE特征上训练简单的二分类器，以区分真实图像与生成图像，确保对未见模型的泛化能力。
• 对重建残差应用绝对值操作，显著提升检测性能，尤其在Stable Diffusion v1等困难模型上。
• 通过频域与噪声模式分析，定性验证DIRE捕捉到了真实图像与生成图像之间的低层次差异。
• 构建了DiffusionForensics基准数据集，包含来自八种多样化扩散模型（包括无条件、条件及文生图变体）在LSUN-Bedroom和ImageNet上的图像。

实验结果

研究问题

• RQ1 基于重建误差的表征能否有效区分真实图像与扩散生成图像？
• RQ2 DIRE表征是否能泛化到训练过程中未见过的扩散模型？
• RQ3 基于DIRE的检测器对高斯噪声、模糊和JPEG压缩等常见图像扰动有多强的鲁棒性？
• RQ4 DDIM采样步数的数量对DIRE检测性能有何影响？
• RQ5 与原始RGB图像或重建图像相比，DIRE是否作为检测任务的输入表征更有效？

主要发现

• DIRE在未见的Stable Diffusion v1生成图像上达到99.7%的准确率和100%的平均精确率，显著优于先前方法。
• 基于DIRE的检测器能有效泛化到未见的扩散模型，包括训练数据中未包含的模型，归因于真实图像与生成图像之间固有的重建误差差异。
• 对重建残差应用绝对值操作，使SD-v1上的检测准确率提升最高达12.7个百分点，证实其关键作用。
• 该方法对高斯噪声、模糊和JPEG压缩等多种扰动均保持高检测性能，表现出强鲁棒性。
• 定性分析表明，DIRE捕捉到了低层次差异：真实图像表现出更结构化的噪声模式和更丰富的频谱成分，而生成图像则相对平滑。
• 将DIRE与原始RGB图像结合会降低性能，表明DIRE本身已是更有效且充分的检测表征。