[论文解读] Fourier Spectrum Discrepancies in Deep Network Generated Images

Tarik Dzanic, Karan Shah+1 more|arXiv (Cornell University)|Nov 15, 2019

Digital Media Forensic Detection参考文献 24被引用 57

一句话总结

本文分析真实图像与深度网络生成图像之间的高频傅里叶谱差异，并提出一个使用谱衰减参数以检测合成图像的低数据量分类器，以及一个谱合成方法以欺骗检测器。

ABSTRACT

Advancements in deep generative models such as generative adversarial networks and variational autoencoders have resulted in the ability to generate realistic images that are visually indistinguishable from real images, which raises concerns about their potential malicious usage. In this paper, we present an analysis of the high-frequency Fourier modes of real and deep network generated images and show that deep network generated images share an observable, systematic shortcoming in replicating the attributes of these high-frequency modes. Using this, we propose a detection method based on the frequency spectrum of the images which is able to achieve an accuracy of up to 99.2% in classifying real and deep network generated images from various GAN and VAE architectures on a dataset of 5000 images with as few as 8 training examples. Furthermore, we show the impact of image transformations such as compression, cropping, and resolution reduction on the classification accuracy and suggest a method for modifying the high-frequency attributes of deep network generated images to mimic real images.

研究动机与目标

• 提出对基于数据高效且可靠地检测 GAN/VAE 生成的图像的需求。
• 研究跨多种架构的真实图像与生成图像的高频傅里叶特性。
• 开发一个简单的基于谱的分类器，只需少量训练样本。
• 评估分辨率和压缩对基于谱的检测的影响。
• 提出一种谱编辑方法以欺骗基于谱的检测器。

提出的方法

• 对图像通道执行离散傅里叶变换并进行直流分量归一化。
• 将坐标变换到归一化的极坐标频率空间，并在方位上求平均以获得简化的谱 c(k_r)。
• 对 k_r ≥ k_T 拟合幂律衰减 c(k_r) ≈ b1 (k_r/k_T)^{b2}，以获得高频参数 b1 和 b2。
• 在 (b1, b2) 上使用最近邻分类器以在最少训练数据下区分真实与伪造图像。
• 在分辨率 1024^2、768^2、256^2 及压缩质量 (100、95、85) 下，使用来自 FFHQ 和 GAN/VAE 模型（StyleGAN、StyleGAN2、PGGAN、VQ-VAE2、ALAE）的数据集进行实验。
• 描述一种谱合成方法，将深度网络图像的高频谱改造为更接近真实图像的谱。

实验结果

研究问题

• RQ1 在多种架构下，高频傅里叶谱特征是否能够区分真实图像与深度网络生成的图像？
• RQ2 分辨率和有损压缩如何影响基于谱的检测的有效性？
• RQ3 使用高频属性进行伪造图像检测的低数据量（少样本）分类器是否可行？
• RQ4 是否可以故意改变高频谱以欺骗基于谱的检测器？
• RQ5 不同的生成模型（GAN 与 VAE）是否表现出不同的高频衰减模式？

主要发现

• 真实图像在趋于平缓之前的高频衰减大致与 k_r^{-4} 成正比；深度网络图像（除了像 StyleGAN2 的一些情况）衰减速度较慢（指数 < 1）。
• 未压缩的 1024^2 图像的分类准确率总体最高达到 99.2%，在特定架构下最高可达 99.9%（实验 A）。
• 压缩降低区分度；在 85% 质量下，真实与多数 GAN 生成的谱可能变得不可区分，尽管在某些情况下 VQ-VAE2 仍然可区分。
• 较小的图像分辨率降低可辨性，但在对分辨率进行调整时，衰减参数分类器仍然鲁棒（如 1024^2 与 768^2）。
• VAE（VQ-VAE2）往往具有较低的高频内容，在压缩下使其更难与真实图像区分。
• 一种谱合成方法可以通过缩放高频组件使其匹配真实目标谱来欺骗检测器，同时不引入可见伪影。