[论文解读] Do GANs leave artificial fingerprints?
本文证明生成对抗网络（GANs）在其生成的图像中留下一致且可检测的'人工指纹'，类似于相机特有的PRNU模式。通过估计生成图像的残差并进行平均，作者提取出稳定且与网络架构相关的指纹，从而在多个GAN模型间实现高度准确的源识别，即使在经过JPEG压缩后依然有效。
In the last few years, generative adversarial networks (GAN) have shown tremendous potential for a number of applications in computer vision and related fields. With the current pace of progress, it is a sure bet they will soon be able to generate high-quality images and videos, virtually indistinguishable from real ones. Unfortunately, realistic GAN-generated images pose serious threats to security, to begin with a possible flood of fake multimedia, and multimedia forensic countermeasures are in urgent need. In this work, we show that each GAN leaves its specific fingerprint in the images it generates, just like real-world cameras mark acquired images with traces of their photo-response non-uniformity pattern. Source identification experiments with several popular GANs show such fingerprints to represent a precious asset for forensic analyses.
研究动机与目标
- 探究GAN是否在其生成的图像中留下独特且稳定的痕迹，类似于相机PRNU模式。
- 确定这些痕迹是否可被可靠提取，并用于图像源的取证归因。
- 评估这些指纹在常见图像处理操作（如JPEG压缩）下的鲁棒性。
- 探索GAN指纹在区分不同GAN架构生成图像方面的判别能力。
提出的方法
- 使用去噪滤波器 $ f(X_i) $ 估计图像内容，以从噪声中分离出高层语义。
- 计算残差 $ R_i = X_i - f(X_i) $，表示原始图像与去噪图像之间的差异。
- 将GAN指纹估计为多个残差的平均值：$ \widehat{F} = \frac{1}{N} \sum_{i=1}^{N} R_i $。
- 通过残差与指纹之间的相关性分析，验证指纹的稳定性和可检测性。
- 采用最小距离规则进行源归因，将残差与已知指纹进行比较。
- 通过应用JPEG压缩（QF=95）并重新评估归因准确率，测试其鲁棒性。
实验结果
研究问题
- RQ1GAN是否在其生成的图像中留下与图像内容无关的一致且可检测的指纹？
- RQ2这些指纹对JPEG压缩等常见图像处理操作的鲁棒性如何？
- RQ3能否利用GAN指纹准确地将图像归因于其源GAN架构？
- RQ4不同GAN架构的指纹有何差异？相似架构是否产生相似指纹？
- RQ5GAN指纹能否提升现有基于深度学习的GAN检测系统性能？
主要发现
- GAN在生成的图像中留下稳定且与架构相关的指纹，即使在逼真图像中无可见伪影的情况下也可检测。
- 基于指纹的源归因准确率超过90%，在大多数情况下接近完美，仅Star-GAN的男性和微笑网络表现稍差。
- 在QF=95的JPEG压缩下，准确率仍保持在90.1%，表明具有极强的鲁棒性。
- 相关性分析证实，某一GAN生成的残差仅与其自身指纹强相关，而与其它GAN或真实相机的指纹无关。
- 同一GAN架构但不同数据集训练的指纹之间存在较弱但可检测的相关性，表明指纹会随训练数据变化。
- 在Forensics GAN Challenge中，结合深度学习与GAN指纹检测使AUC提升至0.999，证明其在真实世界检测任务中的实际应用价值。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。