[论文解读] Detecting GAN-generated Imagery using Color Cues

Scott McCloskey, Michael Albright|arXiv (Cornell University)|Dec 19, 2018

Digital Media Forensic Detection参考文献 12被引用 67

一句话总结

本文分析GAN生成器架构以揭示与颜色相关的线索，并开发了两种取证方法——基于饱和度的取证和颜色图像统计，以区分GAN生成的图像和真实相机图像。

ABSTRACT

Image forensics is an increasingly relevant problem, as it can potentially address online disinformation campaigns and mitigate problematic aspects of social media. Of particular interest, given its recent successes, is the detection of imagery produced by Generative Adversarial Networks (GANs), e.g. `deepfakes'. Leveraging large training sets and extensive computing resources, recent work has shown that GANs can be trained to generate synthetic imagery which is (in some ways) indistinguishable from real imagery. We analyze the structure of the generating network of a popular GAN implementation, and show that the network's treatment of color is markedly different from a real camera in two ways. We further show that these two cues can be used to distinguish GAN-generated imagery from camera imagery, demonstrating effective discrimination between GAN imagery and real camera images used to train the GAN.

研究动机与目标

• 推动图像取证以对抗GAN生成的图像及网络上散布的虚假信息。
• 分析GAN生成器架构，识别区分GAN输出与真实图像的基于颜色的线索。
• 提出利用这些线索的实用检测器，在有限训练数据下也能工作。
• 在基准数据集上评估检测器，以评估GAN图像与相机图像之间的区分能力。

提出的方法

• 检查GAN生成器如何将深度通道压缩为RGB通道，并将学习到的权重与相机光谱响应进行比较。
• 使用r-vs-g色度直方图并结合基于INH的分类器来检测颜色形成线索。
• 计算基于饱和度的特征，衡量过曝和欠曝像素的频率，并在这些特征上训练线性SVM。
• 将该方法应用于NIST媒体取证挑战赛2018中的两个数据集（GAN Crop 和 GAN Full）。

实验结果

研究问题

• RQ1 是否可以利用GAN生成器中的颜色形成线索来区分GAN生成的图像与真实相机图像？
• RQ2 GANs中的归一化和多通道深度到RGB的折叠是否会产生可检测的饱和度或颜色统计伪影？
• RQ3 在不同操控场景下，基于饱和度和颜色的取证在基准GAN数据集上的效果如何？

主要发现

• 基于饱和度的特征实现显著的判别，完全GAN生成图像的AUC为0.70，GAN Full图像的AUC为0.61。
• 基于颜色的取证接近随机，两个数据集的AUC分别为0.56和0.54。
• GAN归一化倾向于抑制饱和度，相较真实相机图像，降低了曝光的变异性。
• GAN中的颜色通道形成使用的学习权重与真实相机的光谱灵敏度不同，使得通过颜色统计进行潜在检测成为可能。
• 颜色取证方法的效果有限，可能由于训练数据受限以及某些真实图像的对焦操控所致。