[论文解读] Detecting GAN generated Fake Images using Co-occurrence Matrices

Lakshmanan Nataraj, Tajuddin Manhar Mohammed+5 more|arXiv (Cornell University)|Mar 15, 2019

Digital Media Forensic Detection参考文献 50被引用 54

一句话总结

本论文提出一种通过对RGB通道计算共现矩阵并用深度CNN进行分类的方法，在CycleGAN和StarGAN数据集上实现约99%的准确率，并展示跨数据集的泛化能力。

ABSTRACT

The advent of Generative Adversarial Networks (GANs) has brought about completely novel ways of transforming and manipulating pixels in digital images. GAN based techniques such as Image-to-Image translations, DeepFakes, and other automated methods have become increasingly popular in creating fake images. In this paper, we propose a novel approach to detect GAN generated fake images using a combination of co-occurrence matrices and deep learning. We extract co-occurrence matrices on three color channels in the pixel domain and train a model using a deep convolutional neural network (CNN) framework. Experimental results on two diverse and challenging GAN datasets comprising more than 56,000 images based on unpaired image-to-image translations (cycleGAN [1]) and facial attributes/expressions (StarGAN [2]) show that our approach is promising and achieves more than 99% classification accuracy in both datasets. Further, our approach also generalizes well and achieves good results when trained on one dataset and tested on the other.

研究动机与目标

• 激励并解决在多种不同类型的GAN中检测GAN生成的假图像的挑战。
• 提出一种基于共现统计、受隐写分析启发的检测方法。
• 开发一个端到端的基于CNN的分类器，处理来自RGB通道的共现矩阵。
• 在多个基于GAN的数据集上评估鲁棒性和泛化能力。

提出的方法

• 直接在图像的红、绿、蓝通道上计算共现矩阵，形成3x256x256的表示。
• 将3x256x256张量通过多层CNN，交替使用3x3和5x5卷积、池化和全连接层，采用自适应SGD进行优化。
• 在CycleGAN和StarGAN数据集上进行训练与验证（训练集占比50%，验证集占比25%，测试集占比25%）。
• 将性能与先前方法进行对比，并研究JPEG压缩对准确性的影响。

实验结果

研究问题

• RQ1 将RGB通道的共现矩阵与深度学习相结合，是否能够在不同的GAN模型中准确检测GAN生成的图像？
• RQ2 所提出的方法在一个GAN数据集上训练、在另一个数据集上测试时是否具备泛化能力？
• RQ3 JPEG压缩如何影响对GAN生成图像的检测准确性？
• RQ4 在这些数据集上，该方法与最先进的GAN检测方法相比如何？

主要发现

• 在CycleGAN数据集上达到99.71%的测试准确率，在StarGAN数据集上达到99.37%。
• 在CycleGAN上训练并在StarGAN上测试得到99.45%的准确率；在StarGAN上训练并在CycleGAN上测试得到93.42%。
• 在被评估的类别中平均超过若干最先进方法（表2结果），但在一些类别如cityscapes和facades的原始图像评估中表现较差。
• 在原始图像上训练时JPEG压缩会降低准确性，但在JPEG压缩图像上训练时鲁棒性提高；当QF=75时，准确性仍为87.31%。
• 尽管GAN结构不同，该方法在跨越不同数据集时具有相对较好的泛化能力。