[论文解读] A Single Simple Patch is All You Need for AI-generated Image Detection

Jiaxuan Chen, Jieteng Yao+1 more|arXiv (Cornell University)|Feb 2, 2024

COVID-19 diagnosis using AIMedicine被引用 3

一句话总结

本文提出 SSP（Single Simple Patch），一种高效且可泛化的 AI 生成图像检测方法，通过从图像中提取单一、最小的 32×32 小 patch 并利用二分类器分析其噪声模式来实现。尽管方法简单，SSP 在 GenImage 数据集上相比最强基线实现了 14.6% 的相对性能提升，展现出在多种扩散模型和 GAN 基生成器之间的优越跨生成器泛化能力。

ABSTRACT

The recent development of generative models unleashes the potential of generating hyper-realistic fake images. To prevent the malicious usage of fake images, AI-generated image detection aims to distinguish fake images from real images. However, existing method suffer from severe performance drop when detecting images generated by unseen generators. We find that generative models tend to focus on generating the patches with rich textures to make the images more realistic while neglecting the hidden noise caused by camera capture present in simple patches. In this paper, we propose to exploit the noise pattern of a single simple patch to identify fake images. Furthermore, due to the performance decline when handling low-quality generated images, we introduce an enhancement module and a perception module to remove the interfering information. Extensive experiments demonstrate that our method can achieve state-of-the-art performance on public benchmarks.

研究动机与目标

• 为解决现有 AI 生成图像检测方法在多样化生成模型之间泛化能力差的问题，特别是针对不同扩散模型和 GAN 基生成器之间的泛化问题。
• 开发一种简单但鲁棒的基线方法，在无需复杂架构或大量超参数调优的情况下实现高性能。
• 证明最小图像 patch 可包含足够判别性噪声模式，实现可靠的人工生成图像检测。

提出的方法

• 该方法从每张输入图像中随机提取 192 个 32×32 小 patch，并选择纹理复杂度最低的一个作为“最简单 patch”，以最小化结构内容并最大化噪声可见性。
• 利用标准的高通滤波器（如 SRM 滤波器）提取所选 patch 的噪声模式，以突出合成图像中典型的细尺度伪影。
• 将提取的噪声表征输入二分类器，基于噪声模式中细微的统计差异区分真实图像与伪造图像。
• 该方法依赖极简的处理流程：小 patch 选择、通过简单滤波器提取噪声、以及分类——避免了复杂的特征工程或多分支网络设计。
• 该方法在某一生成器的训练子集上进行训练，并在其他生成器的测试子集上进行评估，从而实现对跨生成器泛化能力的评估。

实验结果

研究问题

• RQ1 单一、经过最少处理的图像 patch 是否能在多种生成器之间实现具有竞争力的 AI 生成图像检测性能？
• RQ2 在跨生成器检测场景下，基于简单 patch 的方法与复杂 SOTA 模型相比性能如何？
• RQ3 单一简单 patch 中的噪声模式是否包含足够判别性信息以可靠地区分真实图像与 AI 生成图像？
• RQ4 所提出方法在不同生成模型（包括扩散模型和 GAN 基模型）之间的泛化能力达到何种程度？

主要发现

• SSP 在 GenImage 测试集上实现了 93.5% 的平均准确率，相比最强基线 GenDet（81.6%）实现了 14.6% 的相对性能提升。
• 在 SD V1.4 → VQDM 等困难的跨生成器设置下，SSP 达到 94.4% 的准确率，显著优于基线方法 CNNSpot（56.7%）和 F3Net（62.1%）。
• 在跨生成器评估中，SSP 在全部 64 种设置下均持续优于 ResNet-50 及其他强基线，展现出卓越的泛化能力。
• 在 Midjourney 和 Stable Diffusion 的同生成器检测任务中，SSP 实现了接近完美的性能（99.4%–99.9%），表明其在熟悉生成器上的强大检测能力。
• 即使架构复杂度极低，SSP 仍能有效泛化至多种生成器，包括 BigGAN、ADM 和 GLIDE，而基线方法在这些场景下往往失效。