[论文解读] Attributing Fake Images to GANs: Analyzing Fingerprints in Generated Images.

Ning Yu, Larry S. Davis+1 more|arXiv (Cornell University)|Nov 20, 2018

Digital Media Forensic Detection参考文献 19被引用 40

一句话总结

本文提出了一种方法，用于学习并利用生成对抗网络（GAN）生成图像中的独特且稳定的指纹，以实现模型归属识别与源识别。通过分析图像在不同频率和图像块中的潜在模式，该方法能够准确分类图像为真实图像或 GAN 生成图像，并在遭受对抗性扰动的情况下，仍能将图像追溯至特定的 GAN 模型，性能优于现有基线方法。

ABSTRACT

Recent advances in Generative Adversarial Networks (GANs) have shown increasing success in generating photorealistic images. But they also raise challenges to visual forensics and model attribution. We present the first study of learning GAN fingerprints towards image attribution and using them to classify an image as real or GAN-generated. For GAN-generated images, we further identify their sources. Our experiments show that (1) GANs carry distinct model fingerprints and leave stable fingerprints in their generated images, which support image attribution; (2) even minor differences in GAN training can result in different fingerprints, which enables fine-grained model authentication; (3) fingerprints persist across different image frequencies and patches and are not biased by GAN artifacts; (4) fingerprint finetuning is effective in immunizing against five types of adversarial image perturbations; and (5) comparisons also show our learned fingerprints consistently outperform several baselines in a variety of setups.

研究动机与目标

• 为应对视觉取证领域中日益严峻的虚假图像来源 GAN 模型归属挑战。
• 探究 GAN 是否在其生成图像中留下稳定且可区分的指纹，可用于归属识别。
• 开发一种基于 GAN 训练差异的细微特征，实现细粒度的模型认证方法。
• 评估所学习指纹在五类对抗性图像扰动下的鲁棒性。
• 在多种设置下，将所提出的指纹方法与多种基线方法进行性能比较。

提出的方法

• 该方法通过分析图像在不同频率和空间块中的统计模式，从 GAN 生成的图像中学习模型特定的指纹。
• 采用基于深度学习的分类器，检测并提取与源 GAN 架构和训练配置相关的稳定、判别性特征。
• 指纹表示设计为对常见 GAN 伪影具有不变性，并在不同图像区域和频率带中保持鲁棒性。
• 通过对抗性训练来微调指纹，增强其对五类图像扰动的抗性。
• 采用对比学习策略，增强不同 GAN 模型之间指纹的判别能力。
• 该方法支持二分类（真实图像 vs. GAN 生成图像）和多分类归属识别（具体 GAN 模型识别）。

实验结果

研究问题

• RQ1 能否从 GAN 生成的图像中学习到独特且稳定的指纹，以唯一标识其源模型？
• RQ2 GAN 训练过程中的微小差异是否会导致可检测到不同的指纹，从而支持细粒度的模型认证？
• RQ3 所学习的指纹在不同图像频率、空间块和图像区域中是否具有鲁棒性？
• RQ4 该指纹方法在五类对抗性图像扰动下是否仍能保持准确性？
• RQ5 在图像归属和分类任务中，所提出的指纹方法与现有基线方法相比性能如何？

主要发现

• GAN 在其生成的图像中始终留下稳定且可区分的指纹，使图像归属在不同图像区域和频率带中均能可靠实现。
• GAN 训练配置中的细微差异会产生可检测到不同的指纹，支持细粒度的模型认证。
• 所学习的指纹对 GAN 伪影具有鲁棒性，并在不同图像块和频谱分量中保持有效。
• 指纹微调显著提升了对五类对抗性扰动的抗性，同时保持高归属识别准确性。
• 在各种实验设置下，所提出的方法在图像源分类和归属任务中均持续优于多种基线方法。
• 即使图像经过常见图像处理技术修改，指纹依然存在，表明其具备强大的泛化能力。