[论文解读] FakeTagger: Robust Safeguards against DeepFake Dissemination via Provenance Tracking

Run Wang, Felix Juefei-Xu+3 more|arXiv (Cornell University)|Sep 21, 2020

Digital Media Forensic Detection参考文献 66被引用 9

一句话总结

FakeTagger 是一种基于深度学习的图像打标系统，通过在人脸图像中嵌入难以察觉且鲁棒的讯息，实现对 DeepFake 的来源追踪。通过结合轻量级编码器-解码器架构与信道编码，该系统在四种主流 DeepFake 类型下实现了超过 95% 的讯息恢复准确率，即使在严重的 GAN 基础篡改后仍能保持稳定，为 DeepFake 的传播提供了主动防御机制。

ABSTRACT

In recent years, DeepFake is becoming a common threat to our society, due to the remarkable progress of generative adversarial networks (GAN) in image synthesis. Unfortunately, existing studies that propose various approaches, in fighting against DeepFake and determining if the facial image is real or fake, is still at an early stage. Obviously, the current DeepFake detection method struggles to catch the rapid progress of GANs, especially in the adversarial scenarios where attackers can evade the detection intentionally, such as adding perturbations to fool the DNN-based detectors. While passive detection simply tells whether the image is fake or real, DeepFake provenance, on the other hand, provides clues for tracking the sources in DeepFake forensics. Thus, the tracked fake images could be blocked immediately by administrators and avoid further spread in social networks. In this paper, we investigate the potentials of image tagging in serving the DeepFake provenance tracking. Specifically, we devise a deep learning-based approach, named FakeTagger, with a simple yet effective encoder and decoder design along with channel coding to embed message to the facial image, which is to recover the embedded message after various drastic GAN-based DeepFake transformation with high confidence. The embedded message could be employed to represent the identity of facial images, which further contributed to DeepFake detection and provenance. Experimental results demonstrate that our proposed approach could recover the embedded message with an average accuracy of more than 95% over the four common types of DeepFakes. Our research finding confirms effective privacy-preserving techniques for protecting personal photos from being DeepFaked.

研究动机与目标

• 解决被动式 DeepFake 检测方法在未见过的 GAN 架构上泛化能力差，且在真实世界图像变换下性能下降的局限性。
• 通过从基于伪影的检测转向主动讯息嵌入以实现源追踪，克服现有检测技术的脆弱性。
• 开发一种保护隐私、鲁棒性强的图像打标系统，能够经受住诸如人脸替换、重演和属性编辑等剧烈的 GAN 基础篡改。
• 在对抗性条件（包括压缩、缩放和噪声）下确保高讯息恢复准确率，同时保持视觉上的不可察觉性。
• 通过嵌入的来源标记实现被篡改内容的可追溯性，为主动式 DeepFake 防御建立基础。

提出的方法

• 设计一种轻量级的编码器-解码器神经网络，以最小的视觉失真将讯息嵌入人脸图像。
• 将信道编码与冗余讯息位结合，以增强在 GAN 基础变换下的抗错能力。
• 端到端训练模型，以在经历四种常见 DeepFake 生成技术（身份替换、人脸重演、属性编辑和完整合成）后最大化讯息恢复准确率。
• 采用固定的 256×256 像素输入尺寸，符合社交媒体分享的常见规格，以确保实际应用可行性。
• 应用对抗性训练和鲁棒优化，以在提升对图像退化抵抗能力的同时保持不可察觉性。
• 采用 SSIM 和讯息恢复准确率作为评估指标，以平衡视觉保真度与功能鲁棒性。

实验结果

研究问题

• RQ1 基于深度学习的图像打标系统能否在人脸图像中嵌入讯息，使其在经历多种剧烈 GAN 基础 DeepFake 篡改后仍可被恢复？
• RQ2 讯息长度和冗余率如何影响在对抗性 GAN 变换下讯息恢复的鲁棒性与准确率？
• RQ3 所提出的系统在多种 DeepFake 生成模型下，能在多大程度上保持视觉不可察觉性，同时确保高讯息恢复准确率？
• RQ4 嵌入的讯息能否作为可靠的来源标记，用于在社交网络中追踪被篡改图像的源头？
• RQ5 与现有仅检测的方法相比，该系统在真实世界图像退化（如压缩、缩放和噪声）下的表现如何？

主要发现

• FakeTagger 在四种常见 DeepFake 类型（身份替换、人脸重演、属性编辑和完整合成）下，平均讯息恢复准确率超过 95%。
• 当嵌入 20 位讯息且冗余度达 750% 时，系统在经历严重 GAN 基础变换后仍能保持超过 95% 的恢复准确率。
• 当输入讯息大小增加至 45 位且冗余度为 333.3% 时，讯息恢复准确率下降至 90% 以下，表明容量与鲁棒性之间存在权衡。
• 30 位讯息且冗余度为 500% 时，可表示超过 10 亿个唯一 UID，足以满足大规模社交平台的唯一标识分配需求。
• 通过消融实验验证，该系统对常见图像退化（如压缩、缩放和高斯噪声）表现出强鲁棒性。
• 该方法有效保持了视觉质量，测试集上的平均 SSIM 达到 0.948，表明具有高感知保真度。