[论文解读] Towards Universal Fake Image Detectors that Generalize Across Generative Models

Utkarsh Ojha, Yuheng Li+1 more|arXiv (Cornell University)|Feb 20, 2023

Generative Adversarial Networks and Image Synthesis被引用 6

一句话总结

本文提出一种通用假图像检测器，通过利用固定预训练的视觉-语言特征空间（如 CLIP-ViT）而非端到端训练分类器，实现对多种生成模型的泛化。在这些特征上使用简单的最近邻搜索或线性探测，该方法在未见过的扩散模型和自回归模型上的检测性能达到当前最优水平，mAP 提升 +15.05，准确率提升 +25.90%。

ABSTRACT

With generative models proliferating at a rapid rate, there is a growing need for general purpose fake image detectors. In this work, we first show that the existing paradigm, which consists of training a deep network for real-vs-fake classification, fails to detect fake images from newer breeds of generative models when trained to detect GAN fake images. Upon analysis, we find that the resulting classifier is asymmetrically tuned to detect patterns that make an image fake. The real class becomes a sink class holding anything that is not fake, including generated images from models not accessible during training. Building upon this discovery, we propose to perform real-vs-fake classification without learning; i.e., using a feature space not explicitly trained to distinguish real from fake images. We use nearest neighbor and linear probing as instantiations of this idea. When given access to the feature space of a large pretrained vision-language model, the very simple baseline of nearest neighbor classification has surprisingly good generalization ability in detecting fake images from a wide variety of generative models; e.g., it improves upon the SoTA by +15.07 mAP and +25.90% acc when tested on unseen diffusion and autoregressive models.

研究动机与目标

• 解决现有假图像检测器在仅针对一种生成模型（如 GAN）进行训练后，对未见模型（如扩散模型、自回归模型）生成的假图像泛化能力不足的问题。
• 探究当前基于深度学习的检测器为何在不同生成模型家族之间无法实现泛化。
• 开发一种无需为每种新型生成模型重新训练的简单、鲁棒的通用假图像检测基线方法。
• 识别实现对多样化假图像类型有效零样本检测的特征空间的关键特性。

提出的方法

• 使用大规模、预训练的视觉-语言模型（CLIP-ViT）提取图像的固定特征，避免为真实/假图像分类任务进行端到端训练。
• 在 CLIP 特征空间中通过最近邻搜索执行真实/假图像分类，使用来自单一生成模型（如 ProGAN）的实样本和假样本的预计算特征库。
• 作为替代方案，对 CLIP 特征应用线性探测，使用与同一实/假特征库相同的线性层进行训练。
• 在训练线性探测器时引入数据增强（高斯模糊、JPEG 压缩），以提升对常见后期处理攻击的鲁棒性。
• 在未见过的生成模型上评估泛化性能，包括扩散模型（LDM、Glide）和自回归模型（DALL-E）。
• 分析数据集规模、特征空间质量以及数据分布对检测性能的影响。

实验结果

研究问题

• RQ1 为何现有假图像检测器在不同生成模型家族（如从 GAN 到扩散模型）之间泛化失败？
• RQ2 固定且预训练的特征空间是否能实现无需微调的未见生成模型的假图像零样本检测？
• RQ3 何种特征空间特性使其适用于通用假图像检测？
• RQ4 在跨模型泛化任务中，最近邻或线性探测等简单基线方法与端到端训练模型相比性能如何？
• RQ5 在线性探测过程中使用数据增强在多大程度上提升了对模糊和 JPEG 压缩等常见图像操作的鲁棒性？

主要发现

• 在 CLIP-ViT 特征空间中采用最近邻分类方法，在未见的扩散模型和自回归模型生成的假图像上，mAP 提升 +15.05，准确率提升 +25.90%，优于当前最优方法。
• 对 CLIP 特征进行线性探测后，mAP 提升 +19.49，准确率提升 +23.39%，在相同未见模型上表现出强大的泛化能力。
• 传统分类器中的真实类别成为“汇聚类”，因对低级伪影的非对称学习，导致非 GAN 生成的假图像被错误分类为真实图像。
• 该方法在不同生成模型类型间具有有效泛化能力：GAN 数据可用于检测扩散模型和自回归模型生成的假图像，反之亦然。
• 基于互联网规模数据预训练的图像编码器（如 CLIP）至关重要；仅在 ImageNet 上预训练的编码器无法实现泛化。
• 即使主干网络未显式训练以应对这些操作，该方法对高斯模糊和 JPEG 压缩等常见后期处理操作仍保持鲁棒性。