[论文解读] Exploring the Asynchronous of the Frequency Spectra of GAN-generated Facial Images

Binh M. Le, Simon S. Woo|arXiv (Cornell University)|Dec 15, 2021

Digital Media Forensic Detection被引用 4

一句话总结

本文提出了一种新颖的方法，通过利用RGB通道间异步的频谱特性来检测生成对抗网络（GAN）生成的面部图像，采用从二维离散傅里叶变换（DFT）中提取的简单统计特征。该方法在少量训练数据下对多种GAN模型均实现了高检测准确率，并在无监督域自适应设置中表现出强大的迁移能力。

ABSTRACT

The rapid progression of Generative Adversarial Networks (GANs) has raised a concern of their misuse for malicious purposes, especially in creating fake face images. Although many proposed methods succeed in detecting GAN-based synthetic images, they are still limited by the need for large quantities of the training fake image dataset and challenges for the detector's generalizability to unknown facial images. In this paper, we propose a new approach that explores the asynchronous frequency spectra of color channels, which is simple but effective for training both unsupervised and supervised learning models to distinguish GAN-based synthetic images. We further investigate the transferability of a training model that learns from our suggested features in one source domain and validates on another target domains with prior knowledge of the features' distribution. Our experimental results show that the discrepancy of spectra in the frequency domain is a practical artifact to effectively detect various types of GAN-based generated images.

研究动机与目标

• 解决在有限训练数据和高计算成本下检测GAN生成面部图像的挑战。
• 克服现有检测器依赖大规模标注数据集所导致的泛化能力限制。
• 探究频域中通道间谱异步性是否可作为GAN生成的通用伪影。
• 开发一种轻量化、可迁移的检测框架，无需微调即可适用于多种GAN架构。
• 证明利用谱特征分布先验知识实现无监督域自适应的可行性。

提出的方法

• 对输入图像的每个RGB通道应用二维离散傅里叶变换（DFT），以分析其频域特性。
• 从每个通道的幅度谱中提取六种统计特征，包括均值、标准差、偏度、峰度以及两个高斯混合模型参数。
• 利用谱异步性——即R、G和B通道间频率分布的差异——作为区分伪造图像的判别信号。
• 使用提取的谱特征训练有监督（SVM）和无监督模型，以分类真实与伪造图像。
• 通过利用高斯混合模型期望值的先验知识，对源域和目标域的特征分布进行归一化，实现无监督域自适应策略。
• 使用估计的高斯期望值对源域和目标域的特征进行缩放，以在测试未见GAN数据集前对齐分布。

实验结果

研究问题

• RQ1 频域中通道间的谱异步性是否可作为检测GAN生成面部图像的可靠且通用的伪影？
• RQ2 所提出的谱特征在区分多种GAN架构（如StyleGAN、StarGAN、ALAE和Fake Head Talker）中的真实与伪造图像方面效果如何？
• RQ3 在仅依赖特征分布先验知识的前提下，基于一个GAN数据集训练的检测器在未见目标GAN数据集上的泛化能力达到何种程度？
• RQ4 与基于深度学习的检测器相比，该方法是否能在极小训练数据和低计算成本下实现高检测性能？
• RQ5 使用统计谱特征是否能在类别不平衡的训练条件下实现鲁棒检测？

主要发现

• 所提出的谱特征在所有测试数据集上均实现了超过90%的检测准确率，其中在ALAE上达到99.4%，在StarGAN上达到99.6%。
• 无监督域自适应框架在所有源-目标组合上均实现了超过80%的检测准确率，其中在StyleGAN到ALAE的迁移中最高达到99.8%的精确率。
• 该方法能很好地泛化到未见的GAN模型，在源域与目标域数据分布显著不同时仍表现出强大的迁移能力。
• 该方法在类别不平衡的训练条件下保持高性能，表明其对数据稀缺和标签不平衡具有鲁棒性。
• RGB通道间的谱异步性在多种GAN架构中均表现为一致且可利用的伪影，验证了本研究的核心假设。
• 在低数据和低复杂度场景下，该方法优于现有方法，为基于深度学习的检测器提供了一种轻量化替代方案。