[论文解读] Learning to Disentangle GAN Fingerprint for Fake Image Attribution

Tianyun Yang, Juan Cao+5 more|arXiv (Cornell University)|Jun 16, 2021

Digital Media Forensic Detection参考文献 37被引用 10

一句话总结

该论文提出GFD-Net，一种多任务框架，可从生成图像中解耦出稳定且与内容无关的GAN指纹，同时学习判别性、GAN特异的特征以实现伪造图像溯源。通过联合训练生成器（G）、判别器（D）和分类器（C），并施加感知损失与对抗性约束，该方法在封闭世界和开放世界溯源任务中均展现出优越的泛化能力，其指纹主要由网络架构层设计决定，而非通道数。

ABSTRACT

Rapid pace of generative models has brought about new threats to visual forensics such as malicious personation and digital copyright infringement, which promotes works on fake image attribution. Existing works on fake image attribution mainly rely on a direct classification framework. Without additional supervision, the extracted features could include many content-relevant components and generalize poorly. Meanwhile, how to obtain an interpretable GAN fingerprint to explain the decision remains an open question. Adopting a multi-task framework, we propose a GAN Fingerprint Disentangling Network (GFD-Net) to simultaneously disentangle the fingerprint from GAN-generated images and produce a content-irrelevant representation for fake image attribution. A series of constraints are provided to guarantee the stability and discriminability of the fingerprint, which in turn helps content-irrelevant feature extraction. Further, we perform comprehensive analysis on GAN fingerprint, providing some clues about the properties of GAN fingerprint and which factors dominate the fingerprint in GAN architecture. Experiments show that our GFD-Net achieves superior fake image attribution performance in both closed-world and open-world testing. We also apply our method in binary fake image detection and exhibit a significant generalization ability on unseen generators.

研究动机与目标

• 解决缺乏可解释、稳定且与图像内容无关的GAN指纹以用于伪造图像溯源的问题。
• 克服直接分类方法因学习内容相关特征而导致泛化能力差的局限。
• 从生成图像中解耦GAN指纹，生成与内容无关的表征以实现鲁棒溯源。
• 探究主导GAN指纹特性的架构因素。

提出的方法

• 一种多任务框架，联合训练生成器（G）、判别器（D）和分类器（C），以从输入图像中解耦GAN指纹。
• 生成器提取指纹并将其叠加到真实图像上，形成带指纹的图像。
• 判别器通过对抗损失确保指纹与内容无关，分类器通过分类损失确保指纹具有判别性。
• 应用感知损失（L_percept）以抑制指纹生成过程中的语义内容泄露。
• 将生成器的瓶颈特征作为与内容无关的表征，用于伪造图像溯源。
• 通过消融实验与定性分析，评估解耦指纹的稳定性和独特性。

实验结果

研究问题

• RQ1 GAN指纹的外观如何？它们在相同GAN生成的图像中是否稳定且具有独特性？
• RQ2 归一化层和网络结构等架构组件如何影响GAN指纹的特性？
• RQ3 解耦的GAN指纹能否用于实现对未见生成器的鲁棒伪造图像溯源？
• RQ4 与架构修改相比，特征通道数的变化对指纹的影响有多大？
• RQ5 如何有效学习与内容无关的表征以实现溯源，而不依赖于内容特异性痕迹？

主要发现

• GFD-Net在封闭世界与开放世界伪造图像溯源任务中均达到最先进性能，展现出跨数据集的强泛化能力。
• 解耦的GAN指纹在不同内容输入下保持稳定，且在不同GAN之间具有显著差异，所有架构中均可见周期性纹理模式。
• 指纹主要由架构层结构主导，尤其是用去激活归一化（demodulation）替代实例归一化，以及使用跳跃连接与残差网络结构；而通道数的影响微乎其微。
• 感知损失显著减少了指纹中的语义内容痕迹，提升了内容无关性与特征质量。
• 灰度共生矩阵（GLCM）相关性分析表明，每种GAN均具有独特的指纹签名，且在对角方向（π/4，3π/4）呈现更强的相关性。
• 该方法在二值伪造图像检测任务中也表现出良好泛化能力，优于基线方法在未见生成器上的表现。