[论文解读] CNN-generated images are surprisingly easy to spot... for now

Sheng-Yu Wang, Oliver Wang+3 more|arXiv (Cornell University)|Dec 23, 2019

Generative Adversarial Networks and Image Synthesis参考文献 44被引用 42

一句话总结

一个在一个生成器上训练的检测器，能够跨越未见的 CNN 生成器泛化，前提是进行适当的数据增强和多样的训练数据。

ABSTRACT

In this work we ask whether it is possible to create a "universal" detector for telling apart real images from these generated by a CNN, regardless of architecture or dataset used. To test this, we collect a dataset consisting of fake images generated by 11 different CNN-based image generator models, chosen to span the space of commonly used architectures today (ProGAN, StyleGAN, BigGAN, CycleGAN, StarGAN, GauGAN, DeepFakes, cascaded refinement networks, implicit maximum likelihood estimation, second-order attention super-resolution, seeing-in-the-dark). We demonstrate that, with careful pre- and post-processing and data augmentation, a standard image classifier trained on only one specific CNN generator (ProGAN) is able to generalize surprisingly well to unseen architectures, datasets, and training methods (including the just released StyleGAN2). Our findings suggest the intriguing possibility that today's CNN-generated images share some common systematic flaws, preventing them from achieving realistic image synthesis. Code and pre-trained networks are available at https://peterwang512.github.io/CNNDetection/ .

研究动机与目标

• 为跨体系结构和数据集的 CNN 生成图像的通用取证检测器提供动机。
• 研究是否存在在跨 CNN 生成器之间可共享的伪影或指纹，能够实现跨模型检测。
• 评估数据增强和训练数据多样性如何影响跨生成器泛化。
• 评估检测器对后处理（如 JPEG 压缩、模糊、缩放）等鲁棒性，以评估在实际场景中的适用性。

提出的方法

• 构建数据集 ForenSynths，包含来自 11 种基于 CNN 的生成器的假图像，覆盖无条件、条件、感知损失和后处理方法。
• 训练一个 ResNet-50 二分类器，以区分真实图像与 ProGAN 生成的图像，真实图像作为负样本。
• 在训练中应用大量的图像增强，模拟后处理，以促进泛化。
• 通过在所有其他生成器上测试基于 ProGAN 训练的检测器，评估跨生成器的泛化。
• 在测试阶段对后处理（模糊、JPEG）进行鲁棒性测试，以评估在实际世界中的适用性。
• 与现有方法进行比较并分析频域伪影，以理解泛化线索。

实验结果

研究问题

• RQ1 在一个 CNN 生成器上训练的检测器是否能泛化到跨体系结构和数据集的未见生成器？
• RQ2 训练数据多样性和增强在跨模型泛化中的作用是什么？
• RQ3 检测器对在实际生产线中常见的后处理操作有多鲁棒？
• RQ4 CNN 生成的图像是否在不同合成方法之间共享可检测、可迁移的伪影？

主要发现

• 在 ProGAN 图像上训练的分类器能够令人惊讶地泛化到许多未见的 GAN 和图像到图像转换模型。
• 模拟后处理的数据增强显著提高跨生成器泛化能力和对 JPEG、模糊、缩放的鲁棒性。
• 增加训练多样性（更多类别/数据集）在达到一个点前提升性能，超过大约 16–20 个类别后收益递减。
• StyleGAN2 案件在现成情况下仍可被 ProGAN 训练的检测器检测到，表明对具有类似构建模块的新生成器具备迁移性。
• 在某些模型（如 SAN、DeepFake）上，增强可能会降低性能，表明模型特异性线索的差异。