[论文解读] Detecting and Simulating Artifacts in GAN Fake Images

Xu Zhang, Svebor Karaman+1 more|arXiv (Cornell University)|Jul 15, 2019

Digital Media Forensic Detection参考文献 15被引用 41

一句话总结

本文提出 AutoGAN，用于模拟 GAN 的伪影，并提出基于光谱的检测器以区分 GAN 生成的图像，在无需访问目标 GAN 模型的情况下实现较强的泛化能力。

ABSTRACT

To detect GAN generated images, conventional supervised machine learning algorithms require collection of a number of real and fake images from the targeted GAN model. However, the specific model used by the attacker is often unavailable. To address this, we propose a GAN simulator, AutoGAN, which can simulate the artifacts produced by the common pipeline shared by several popular GAN models. Additionally, we identify a unique artifact caused by the up-sampling component included in the common GAN pipeline. We show theoretically such artifacts are manifested as replications of spectra in the frequency domain and thus propose a classifier model based on the spectrum input, rather than the pixel input. By using the simulated images to train a spectrum based classifier, even without seeing the fake images produced by the targeted GAN model during training, our approach achieves state-of-the-art performances on detecting fake images generated by popular GAN models such as CycleGAN.

研究动机与目标

• 在攻击者模型未知时，推动稳健的真实图像与 GAN 伪图像检测。
• 识别来自 GAN 上采样的伪影，特别是在频域中。
• 开发 AutoGAN，仅使用真实图像来模拟常见的 GAN 流程。
• 提出一种基于光谱的分类器，以提高跨类别的泛化能力。
• 评估对未见 GAN 模型及后处理效果的泛化能力。

提出的方法

• 分析 GAN 生成流水线以在频域中识别上采样伪影。
• 理论上表明上采样过程中的零插入会复制光谱，促进基于光谱的输入。
• 提出一种使用 RGB 通道对数幅度光谱作为输入的频域分类器。
• 引入 AutoGAN，一种灰盒 GAN 模拟器，在没有假数据训练的情况下重建带有 GAN 风格伪影的图像。
• 在真实图像和 AutoGAN 重建图像上训练分类器，以捕捉 GAN 伪影。
• 在多种语义类别上评估检测效果，包括留一类别-out 设置，并测试对后处理和不同上采样器的鲁棒性。

实验结果

研究问题

• RQ1 相对于像素输入，基于光谱的输入是否能够改进 GAN 假图像检测及跨类别的泛化？
• RQ2 在没有实际伪图像或目标 GAN 模型访问的情况下，GAN 模拟器（AutoGAN）是否能训练出有效的检测器？
• RQ3 基于光谱的检测器对未见的 GAN 架构或上采样模块的泛化能力如何？
• RQ4 后处理如 JPEG、缩放对检测的影响如何，是否可以通过再训练来缓解？

主要发现

• 在 CycleGAN 数据上训练时，基于光谱的分类器在跨类别上的泛化能力优于像素基分类器。
• AutoGAN 使在没有任何假图像的情况下也能进行训练，并且在 CycleGAN 数据上仍然取得强健的检测性能。
• 在留一法评估中，使用 CycleGAN 或 AutoGAN 训练的基于光谱的方法与最先进的方法相竞争。
• 后处理如 JPEG 压缩或重采样会降低性能，除非用后处理数据重新训练检测器。
• 在训练期间结合上采样器（转置卷积和最近邻）可提高跨采样器的泛化能力。
• GauGAN 的结果表明结构差异极大会限制跨模型泛化，而 StarGAN 的结果对基于光谱的检测器更为有利。