[论文解读] FaceGuard: Proactive Deepfake Detection

Yuankun Yang, Chenyue Liang+3 more|arXiv (Cornell University)|Sep 13, 2021

Generative Adversarial Networks and Image Synthesis参考文献 29被引用 13

一句话总结

FaceGuard 是一种主动式深度伪造检测框架，通过基于深度学习的水印技术，在真实人脸图像发布前嵌入鲁棒且脆弱的水印。它通过提取水印后验证水印完整性来检测伪造人脸，在 FaceForensics++ 数据集上达到 99.5% 的准确率，优于被动检测器和先前的水印方法，在经过后处理和深度伪造操作后仍表现优异。

ABSTRACT

Existing deepfake-detection methods focus on passive detection, i.e., they detect fake face images via exploiting the artifacts produced during deepfake manipulation. A key limitation of passive detection is that it cannot detect fake faces that are generated by new deepfake generation methods. In this work, we propose FaceGuard, a proactive deepfake-detection framework. FaceGuard embeds a watermark into a real face image before it is published on social media. Given a face image that claims to be an individual (e.g., Nicolas Cage), FaceGuard extracts a watermark from it and predicts the face image to be fake if the extracted watermark does not match well with the individual's ground truth one. A key component of FaceGuard is a new deep-learning-based watermarking method, which is 1) robust to normal image post-processing such as JPEG compression, Gaussian blurring, cropping, and resizing, but 2) fragile to deepfake manipulation. Our evaluation on multiple datasets shows that FaceGuard can detect deepfakes accurately and outperforms existing methods.

研究动机与目标

• 解决被动深度伪造检测方法在面对未见过的深度伪造生成方式时失效的关键局限性。
• 开发一种主动检测框架，在真实人脸图像发布前嵌入水印。
• 确保水印对常见后处理操作（如 JPEG 压缩、缩放）具有鲁棒性，但对深度伪造操作具有脆弱性。
• 设计一种编码器-解码器水印的联合训练框架，结合可微分 JPEG 近似与基于强化学习的后处理调度机制。
• 评估系统在对抗性攻击者反向工程水印过程（使用相同架构和训练数据）下的鲁棒性。

提出的方法

• 提出一种基于深度学习的水印系统，其中神经编码器将二进制水印嵌入真实人脸图像，生成视觉上不可察觉的水印输出。
• 设计神经解码器，从给定的人脸图像中提取水印，并与真实值进行比对以验证真实性。
• 构建多组件损失函数，结合水印重建损失、像素级感知损失和对抗损失，以保持图像质量和水印保真度。
• 引入 JPEG 压缩的可微分近似，以实现非可微操作中的梯度反向传播，支持端到端训练。
• 实现基于强化学习的调度器，在训练期间动态应用后处理操作（如 JPEG、模糊化、裁剪），以模拟真实世界中的失真。
• 使用随机梯度下降联合训练编码器和解码器，后处理模块位于两者之间，以模拟现实中的图像变换。

实验结果

研究问题

• RQ1 与被动检测方法相比，主动水印系统是否能更可靠地检测出未见过的深度伪造生成方法生成的伪造品？
• RQ2 所提出的水印方法在常见图像后处理操作（如 JPEG 压缩和缩放）下保持完整性的有效性如何？
• RQ3 水印对感知图像质量的退化程度如何，以 SSIM 衡量？
• RQ4 系统对能够训练自身编码器-解码器以模仿水印过程的自适应攻击者有多强的鲁棒性？
• RQ5 可微分 JPEG 近似与基于强化学习的调度机制的集成是否显著提升了水印的鲁棒性与检测准确率？

主要发现

• FaceGuard 在 FaceForensics++ 数据集上达到 99.5% 的准确率，显著优于被动检测器及先前的水印方法（如 ConvWM 和 HiDDeN）。
• 在 DFDC 数据集上，FaceGuard 达到 97.7% 的准确率，错误正类率（FPR）仅为 1.5%，错误负类率（FNR）为 1.0%，表现出强大的泛化能力。
• 在 FaceForensics++ 和 DFDC 上，真实图像与水印图像之间的平均 SSIM 为 0.94，在 Trump-Cage 上为 0.86，表明感知失真极小。
• 不使用可微分 JPEG 近似的 FaceGuard 准确率仅为 91.2%，表明该近似对训练鲁棒性至关重要。
• 不使用强化学习调度的 FaceGuard 准确率为 98.2%，表明 RL 调度器通过更真实地模拟现实后处理进一步提升了性能。
• 在应对自适应深度伪造攻击时，FaceGuard 在 Trump-Cage 上仍保持 97.6% 的高准确率，攻击者使用相同架构和数据反向工程水印过程。