[论文解读] DeepTag: Robust Image Tagging for DeepFake Provenance

Run Wang, Felix Juefei-Xu+5 more|arXiv (Cornell University)|Sep 21, 2020

Digital Media Forensic Detection被引用 12

一句话总结

DeepTag 提出了一种基于深度学习的鲁棒图像打标方法，通过在人脸图像中嵌入可追溯的信息，实现 DeepFake 来源追踪。采用一种简单而高效的编码器-解码器架构，即使在经过剧烈的 GAN 基于的图像篡改后，仍能实现约 90% 的信息恢复准确率，从而实现对 DeepFake 的主动防御。

ABSTRACT

In recent years, DeepFake is becoming a common threat to our society, due to the remarkable progress of generative adversarial networks (GAN) in image synthesis. Unfortunately, existing studies that propose various approaches, in fighting against DeepFake, to determine if the facial image is real or fake, is still at an early stage. Obviously, the current DeepFake detection method struggles to catchthe rapid progress of GANs, especially in the adversarial scenarios where attackers can evade the detection intentionally, such as adding perturbations to fool DNN-based detectors. While passive detection simply tells whether the image is fake or real, DeepFake provenance, on the other hand, provides clues for tracking the sources in DeepFake forensics. Thus, the tracked fake images could be blocked immediately by administrators and avoid further spread in social networks. In this paper, we investigated the potentials of image tagging in serving the DeepFake provenance. Specifically, we devise a deep learning-based approach, named DeepTag, with a simple yet effective encoder and decoder design to embed message to the facial image, which is to recover the embedded message after various drastic GAN-based DeepFake transformation with high confidence. The embedded message could be employed to represent the identity of facial images, which further contributed to DeepFake detection and provenance. Experimental results demonstrate that our proposed approach could recover the embedded message with an average accuracy of nearly 90%. Our research finding confirms effective privacy-preserving techniques for protecting personal photos from being DeepFaked. Thus, effective proactive defense mechanisms should be developed for fighting against DeepFakes, instead of simply devising DeepFake detection methods that can be mostly ineffective in practice.

研究动机与目标

• 为解决被动 DeepFake 检测的局限性，实现对虚假图像来源的主动追踪。
• 开发一种保护隐私的方法，将可识别信息嵌入人脸图像中，同时不降低视觉质量。
• 确保信息在用于 DeepFake 生成的剧烈 GAN 基于图像变换下依然具有鲁棒性。
• 支持取证追踪，并在社交网络中快速阻止恶意生成的虚假图像。

提出的方法

• 设计了一种基于深度学习的编码器-解码器框架，在图像生成过程中将信息嵌入人脸图像。
• 编码器将类似水印的信息注入人脸图像的潜在表征中，同时保持语义完整性。
• 解码器在图像经过 GAN 基于的 DeepFake 变换后，从图像中重建出嵌入的信息。
• 该架构端到端训练，以在各种对抗性失真下最大化信息恢复准确率。
• 该方法利用深度特征的不变性，即使在显著的图像篡改下也能保持信息的保真度。
• 该方法针对高置信度恢复进行了优化，即使图像被最先进的 GAN 修改后也能实现。

实验结果

研究问题

• RQ1 在剧烈的 GAN 基于图像篡改下，基于深度学习的打标系统能否可靠地嵌入并恢复信息？
• RQ2 在对抗性扰动和真实的 DeepFake 生成流程下，嵌入信息的恢复能力有多强？
• RQ3 嵌入的信息能否作为可靠的来源标记，用于追踪社交网络中虚假图像的来源？
• RQ4 该打标机制在多大程度上保持了图像质量和用户隐私？
• RQ5 该方法能否通过实现主动防御，超越被动检测，在 DeepFake 防御中表现更优？

主要发现

• 所提出的 DeepTag 方法在各种 GAN 基于的 DeepFake 变换下，平均信息恢复准确率接近 90%。
• 即使在剧烈的图像篡改后，嵌入的信息依然可恢复，表现出强大的鲁棒性。
• 该方法通过嵌入信息将虚假图像与来源关联，实现了有效的来源追踪。
• 该方法支持主动防御，使管理员能够在虚假图像广泛传播前阻止已知的虚假图像。
• 该技术保持了图像质量，并提供了一种保护隐私的解决方案，防止未经授权的 DeepFake 生成。
• 结果证实，主动水印技术在现实世界 DeepFake 防御中比被动检测更有效。