[论文解读] FaceSigns: Semi-Fragile Neural Watermarks for Media Authentication and Countering Deepfakes

Paarth Neekhara, Shehzeen Hussain+4 more|arXiv (Cornell University)|Apr 5, 2022

Digital Media Forensic Detection被引用 8

一句话总结

FaceSigns 引入了一种基于深度学习的半脆弱水印系统，将128位秘密信息不可察觉地嵌入图像中，以验证媒体真实性并检测深度伪造。该系统采用端到端编码器-解码器框架，通过可微分变换进行训练，对良性编辑保持鲁棒性，但对人脸操作则具有脆弱性，在检测未见过的深度伪造攻击时AUC达到0.996。

ABSTRACT

Deepfakes and manipulated media are becoming a prominent threat due to the recent advances in realistic image and video synthesis techniques. There have been several attempts at combating Deepfakes using machine learning classifiers. However, such classifiers do not generalize well to black-box image synthesis techniques and have been shown to be vulnerable to adversarial examples. To address these challenges, we introduce a deep learning based semi-fragile watermarking technique that allows media authentication by verifying an invisible secret message embedded in the image pixels. Instead of identifying and detecting fake media using visual artifacts, we propose to proactively embed a semi-fragile watermark into a real image so that we can prove its authenticity when needed. Our watermarking framework is designed to be fragile to facial manipulations or tampering while being robust to benign image-processing operations such as image compression, scaling, saturation, contrast adjustments etc. This allows images shared over the internet to retain the verifiable watermark as long as face-swapping or any other Deepfake modification technique is not applied. We demonstrate that FaceSigns can embed a 128 bit secret as an imperceptible image watermark that can be recovered with a high bit recovery accuracy at several compression levels, while being non-recoverable when unseen Deepfake manipulations are applied. For a set of unseen benign and Deepfake manipulations studied in our work, FaceSigns can reliably detect manipulated content with an AUC score of 0.996 which is significantly higher than prior image watermarking and steganography techniques.

研究动机与目标

• 解决现有深度伪造检测分类器在面对黑箱合成和对抗性样本时的局限性。
• 克服以往水印方法的不足：要么过于脆弱（被压缩破坏），要么过于鲁棒（在深度伪造篡改后仍可恢复）。
• 开发一种主动认证系统，在图像捕获时嵌入可验证的、设备特定的秘密信息，以建立媒体来源证明。
• 实现选择性脆弱性——在良性处理下保持水印完整，但在恶意人脸操作（如深度伪造）下使水印失效。
• 通过端到端、可微分训练并模拟篡改，实现对未见过的深度伪造和良性变换的可靠、泛化性强的检测。

提出的方法

• 训练一个端到端的编码器-解码器神经网络，将128位秘密信息作为图像像素中的不可察觉扰动进行嵌入。
• 使用可微分的数据增强技术，在训练过程中模拟良性变换（如压缩、缩放、色彩调整），以增强鲁棒性。
• 引入一种可微分的、与图像相关的扰动机制，在训练中模拟人脸操作（如人脸互换），以在人脸区域强制实现脆弱性。
• 仅对检测到的人脸应用水印：通过裁剪、缩放至256×256、编码并重新插入原始图像，以保留全局上下文。
• 通过裁剪并缩放人脸区域，将其输入解码器，将恢复的消息与可信的秘密列表进行比对，以完成水印解码。
• 安全托管解码器，仅输出二元真实性标签，防止对抗性查询攻击。

实验结果

研究问题

• RQ1 基于深度学习的水印系统能否实现选择性脆弱性——在良性图像处理下保持鲁棒性，但在恶意人脸操作（如深度伪造）下失效？
• RQ2 神经水印在未见过的良性与恶意变换上的泛化能力如何？
• RQ3 水印能否在不可察觉的同时，保持在各种压缩级别和图像编辑下的高恢复准确率？
• RQ4 该系统在多大程度上能抵抗对抗性攻击，如消息提取、扰动复制或代理编码器训练？
• RQ5 该水印框架能否有效应用于含有多张人脸的图像，同时为每位个体保留真实性？

主要发现

• 在含2至6张人脸的图像上，FaceSigns 的比特恢复准确率（BRA）达到99.50%，证明其在复杂场景中有效嵌入和检索水印。
• 在面对未见过的深度伪造篡改时，系统AUC得分为0.996，显著优于以往的鲁棒型与半脆弱型水印技术。
• 在遭受深度伪造攻击时，水印无法恢复，证实其对恶意人脸操作具有脆弱性。
• 当攻击者将扰动从一张图像复制到另一张图像时，比特恢复准确率降至17.6%，表明对水印转移攻击具有强抵抗力。
• 系统对常见良性变换（如JPEG压缩、缩放、对比度和饱和度调整）在多个压缩级别下均保持鲁棒。
• 通过安全部署解码器（仅输出二元真实性标签），有效防止了通过对抗性查询恢复目标消息的攻击。