[论文解读] Leveraging Frequency Analysis for Deep Fake Image Recognition

J. Howard Frank, Thorsten Eisenhofer+4 more|arXiv (Cornell University)|Mar 19, 2020

Digital Media Forensic Detection参考文献 51被引用 208

一句话总结

本文在频域中使用二维离散余弦变换（2D DCT）分析GAN生成的图像，揭示跨架构上采样产生的伪影，并展示基于频率的检测器在参数更少、鲁棒性更强的情况下能够优于图像域方法。

ABSTRACT

Deep neural networks can generate images that are astonishingly realistic, so much so that it is often hard for humans to distinguish them from actual photos. These achievements have been largely made possible by Generative Adversarial Networks (GANs). While deep fake images have been thoroughly investigated in the image domain - a classical approach from the area of image forensics - an analysis in the frequency domain has been missing so far. In this paper, we address this shortcoming and our results reveal that in frequency space, GAN-generated images exhibit severe artifacts that can be easily identified. We perform a comprehensive analysis, showing that these artifacts are consistent across different neural network architectures, data sets, and resolutions. In a further investigation, we demonstrate that these artifacts are caused by upsampling operations found in all current GAN architectures, indicating a structural and fundamental problem in the way images are generated via GANs. Based on this analysis, we demonstrate how the frequency representation can be used to identify deep fake images in an automated way, surpassing state-of-the-art methods.

研究动机与目标

• 因人类难以分辨深度伪造而推动对GAN生成图像的自动检测。
• 研究频域伪影是否在不同GAN架构、数据集和分辨率中是普遍现象。
• 识别频域伪影的来源并评估基于频率的检测方法的有效性。
• 证明基于频域的分类器在准确性和效率上能够超越最先进的图像域方法。

提出的方法

• 通过二维Type-II DCT（如JPEG中），转换为频域，对系数进行对数尺度处理并规范化。
• 在DCT特征上评估线性和非线性分类器，以区分真实与伪造图像。
• 比较上采样技术（最近邻、带抗混叠的双线性、二项式）以识别它们对频域伪影的影响。
• 在DCT特征和原始像素上训练并评估多样化检测器（岭回归、浅层CNN，以及Yu等人的CNN）。
• 评估对扰动（模糊、裁剪、压缩、噪声）的鲁棒性以及数据效率（用20%数据进行训练）。
• 将分类器权重映射回频域，以解释哪些频率驱动决策。

实验结果

研究问题

• RQ1 GAN生成的图像在架构和数据集间是否表现出一致的频域伪影？
• RQ2 所观察到的频域伪影是否主要由GAN生成器中的上采样操作引起？
• RQ3 频域表示是否能够实现对深度伪造的准确且参数高效的检测？
• RQ4 频域检测器是否能跨越不同上采样变体泛化，并对常见图像扰动具有鲁棒性？
• RQ5 频域方法是否能够识别用于生成给定图像的底层GAN架构？

主要发现

• GAN生成的图像在频域中展现出严重且一致的伪影，横跨架构、数据集和分辨率。
• 伪影与GAN生成器中的上采样相关；更精细的上采样（带抗混叠）能减少但不能消除它们。
• 频域分类器达到高准确性，在某些设置中（例如真实与StyleGAN）DCT空间可以线性分离；它们所需参数远少于图像域CNN。
• 频域模型相较于像素域模型取得显著提升；例如在FFHQ对StyleGAN的比较中，岭回归准确率从75.78%（像素）提升到100.00%（DCT）（表1）。
• 在上采样变体上，基于DCT的分类器保持强劲性能，在某些设置中提升幅度高达约47%（表3）。
• 频域模型数据效率更高，收敛更快，使用仅20%的数据也能维持高准确性（表4）。
• 这些检测器对若干扰动（模糊、裁剪、压缩、噪声）表现出鲁棒性，尽管对对抗扰动则不一定。