[论文解读] Attributing Fake Images to GANs: Learning and Analyzing GAN Fingerprints

Ning Yu, Larry S. Davis+1 more|arXiv (Cornell University)|Nov 20, 2018

Digital Media Forensic Detection参考文献 80被引用 38

一句话总结

本文提出了一种新颖的方法，用于学习和分析 GAN 指纹——即 GAN 生成图像中独特且稳定的模式，可实现对虚假图像来源 GAN 模型的归属识别。通过在这些学习到的指纹上训练分类器，该方法在多种设置下均实现了高精度的源识别能力，并对对抗性扰动表现出强鲁棒性，优于现有基线方法。

ABSTRACT

Recent advances in Generative Adversarial Networks (GANs) have shown increasing success in generating photorealistic images. But they also raise challenges to visual forensics and model attribution. We present the first study of learning GAN fingerprints towards image attribution and using them to classify an image as real or GAN-generated. For GAN-generated images, we further identify their sources. Our experiments show that (1) GANs carry distinct model fingerprints and leave stable fingerprints in their generated images, which support image attribution; (2) even minor differences in GAN training can result in different fingerprints, which enables fine-grained model authentication; (3) fingerprints persist across different image frequencies and patches and are not biased by GAN artifacts; (4) fingerprint finetuning is effective in immunizing against five types of adversarial image perturbations; and (5) comparisons also show our learned fingerprints consistently outperform several baselines in a variety of setups.

研究动机与目标

• 为应对视觉取证领域中检测和归属 GAN 生成的虚假图像日益严峻的挑战。
• 探究 GAN 是否在其生成图像中留下一致且可识别的指纹，以实现模型归属。
• 开发一种方法，可准确分类图像为真实图像或 GAN 生成图像，并识别出具体的 GAN 源模型。
• 评估学习到的指纹在各种对抗性图像扰动下的鲁棒性。
• 在归属和检测任务中，将学习到的指纹与现有基线方法的性能进行比较。

提出的方法

• 该方法训练一个深度神经网络，从不同频率带中的图像块中提取并分类 GAN 指纹。
• 采用孪生网络架构，学习可区分不同 GAN 模型生成图像的判别性特征。
• 从多个图像块和频率分量（例如低频和高频带）中提取指纹，以确保鲁棒性。
• 在对抗性样本上微调模型，以提升对五类图像扰动的抗性。
• 采用对比损失函数，促使同一 GAN 源的特征嵌入彼此靠近，而不同源的特征嵌入则相互远离。
• 最终的归属分类器利用学习到的指纹特征，预测给定图像的源 GAN 模型。

实验结果

研究问题

• RQ1 能否从 GAN 生成的图像中学习到独特且稳定的指纹，以实现准确的模型归属？
• RQ2 GAN 训练中的微小变化如何影响生成的指纹及其可区分性？
• RQ3 GAN 指纹在不同图像频率和空间块上是否依然保持鲁棒性？
• RQ4 在对抗性图像扰动下，基于指纹的模型能否保持高性能？
• RQ5 在源识别和虚假图像检测任务中，学习到的指纹与现有基线方法相比表现如何？

主要发现

• GAN 在其生成的图像中始终留下稳定且可区分的指纹，可在不同模型间实现可靠的源归属。
• GAN 训练中的微小差异会导致指纹显著不同，从而实现细粒度的模型认证。
• GAN 指纹在各种图像频率和空间块上均保持鲁棒性，且不受常见 GAN 伪影的影响。
• 指纹微调显著提升了抗扰动能力，在五类对抗性扰动下仍保持高精度。
• 在多种实验设置下，该方法在源识别和虚假图像检测任务中均持续优于多个基线方法。
• 该方法在 GAN 归属任务中达到最先进性能，展现出强大的泛化能力和鲁棒性。