[论文解读] DE-FAKE: Detection and Attribution of Fake Images Generated by Text-to-Image Generation Models

Zeyang Sha, Zheng Li+2 more|arXiv (Cornell University)|Oct 13, 2022

Generative Adversarial Networks and Image Synthesis被引用 7

一句话总结

本文提出 DE-FAKE，一种用于检测和归属由 DALL·E 2 和 Stable Diffusion 等文本到图像模型生成的虚假图像的系统。该系统引入了仅基于图像的检测器和结合 CLIP 嵌入与 BLIP 的混合检测器，用于提示重建，并开发了多类别归属器，能够以高准确率识别源模型，揭示出主题为 'person' 且长度在 25–75 个标记之间的提示会产生更逼真的虚假图像。

ABSTRACT

Text-to-image generation models that generate images based on prompt descriptions have attracted an increasing amount of attention during the past few months. Despite their encouraging performance, these models raise concerns about the misuse of their generated fake images. To tackle this problem, we pioneer a systematic study on the detection and attribution of fake images generated by text-to-image generation models. Concretely, we first build a machine learning classifier to detect the fake images generated by various text-to-image generation models. We then attribute these fake images to their source models, such that model owners can be held responsible for their models' misuse. We further investigate how prompts that generate fake images affect detection and attribution. We conduct extensive experiments on four popular text-to-image generation models, including DALL$\cdot$E 2, Stable Diffusion, GLIDE, and Latent Diffusion, and two benchmark prompt-image datasets. Empirical results show that (1) fake images generated by various models can be distinguished from real ones, as there exists a common artifact shared by fake images from different models; (2) fake images can be effectively attributed to their source models, as different models leave unique fingerprints in their generated images; (3) prompts with the ``person'' topic or a length between 25 and 75 enable models to generate fake images with higher authenticity. All findings contribute to the community's insight into the threats caused by text-to-image generation models. We appeal to the community's consideration of the counterpart solutions, like ours, against the rapidly-evolving fake image generation.

研究动机与目标

• 应对由 DALL·E 2 和 Stable Diffusion 等文本到图像模型生成的高保真虚假图像日益增长的滥用威胁。
• 开发一种系统化的方法，用于检测虚假图像并将其归属至其源生成模型，以实现问责制。
• 研究提示特征如何影响生成虚假图像的真实性。
• 提供首个针对文本到图像生成虚假图像的检测与归属的全面研究，填补了人工智能安全研究中的关键空白。

提出的方法

• 仅使用图像特征训练二元图像仅检测器，以分类由文本到图像模型生成的真实与虚假图像。
• 设计一种结合 CLIP 图像嵌入与同一模型文本嵌入的混合检测器，通过利用文本上下文提升检测性能。
• 在推理过程中若缺乏真实提示时，使用 BLIP 为图像生成自然提示。
• 开发多类别图像仅检测器与混合归属器，用于将虚假图像分类至其源生成模型（如 Stable Diffusion、GLIDE）。
• 应用 CLIP 的图像与文本编码器，将图像与提示映射至共享嵌入空间，以实现混合检测与归属中的联合分析。
• 通过提取语义主题与结构特征（如长度）进行提示分析，以评估其对图像真实性的影响。

实验结果

研究问题

• RQ1 能否可靠地区分由不同文本到图像模型生成的虚假图像与真实图像？
• RQ2 能否准确地将虚假图像归属至其源文本到图像生成模型？
• RQ3 哪些提示特征（如主题、长度）会导致更逼真的虚假图像？
• RQ4 包含提示信息如何提升检测与归属性能？

主要发现

• 由不同文本到图像模型生成的虚假图像共享常见伪影，使得即使检测器仅在一个模型上进行训练，也能实现有效检测。
• 混合检测方法（结合图像与提示嵌入）在所有评估模型中均持续优于仅基于图像的检测方法。
• 通过图像仅检测器与混合归属器，可准确地将虚假图像归属至其源模型，表明每种模型都会留下独特且可识别的指纹。
• 主题为 'person' 的提示生成的虚假图像明显更具真实感，相较于其他主题。
• 提示长度在 25 至 75 个标记之间的图像生成更具真实性，表明提示复杂度存在一个‘最佳区间’。
• 即使在无法获取自然提示的情况下，混合检测方法仍能保持强大性能，得益于基于 BLIP 的提示重建技术。