[论文解读] Detecting Deepfakes Without Seeing Any

Tal Reiss, Bar Cavia+1 more|arXiv (Cornell University)|Nov 2, 2023

Digital Media Forensic Detection被引用 5

一句话总结

本文提出 FACTOR，一种无需训练的深度伪造检测方法，通过事实核查检测零日攻击，即利用现成的视觉-语言编码器验证所声称的事实（如身份、语音或字幕）与观察到的媒体之间的一致性。该方法在未见过任何伪造数据的情况下实现最先进性能，在人脸替换和音视频合成基准上优于现有方法。

ABSTRACT

Deepfake attacks, malicious manipulation of media containing people, are a serious concern for society. Conventional deepfake detection methods train supervised classifiers to distinguish real media from previously encountered deepfakes. Such techniques can only detect deepfakes similar to those previously seen, but not zero-day (previously unseen) attack types. As current deepfake generation techniques are changing at a breathtaking pace, new attack types are proposed frequently, making this a major issue. Our main observations are that: i) in many effective deepfake attacks, the fake media must be accompanied by false facts i.e. claims about the identity, speech, motion, or appearance of the person. For instance, when impersonating Obama, the attacker explicitly or implicitly claims that the fake media show Obama; ii) current generative techniques cannot perfectly synthesize the false facts claimed by the attacker. We therefore introduce the concept of "fact checking", adapted from fake news detection, for detecting zero-day deepfake attacks. Fact checking verifies that the claimed facts (e.g. identity is Obama), agree with the observed media (e.g. is the face really Obama's?), and thus can differentiate between real and fake media. Consequently, we introduce FACTOR, a practical recipe for deepfake fact checking and demonstrate its power in critical attack settings: face swapping and audio-visual synthesis. Although it is training-free, relies exclusively on off-the-shelf features, is very easy to implement, and does not see any deepfakes, it achieves better than state-of-the-art accuracy.

研究动机与目标

• 解决监督式深度伪造检测方法在零日攻击下因分布偏移而失效的关键局限性。
• 提出一种无需依赖标注伪造数据或模型特异性特征的可泛化检测框架。
• 证明深度伪造中可验证的虚假事实（如声称的身份或对齐的音视频内容）可被用于检测。
• 表明当前生成模型无法完美编码虚假事实，从而可通过事实一致性检查实现检测。
• 在多种深度伪造场景中验证该方法的有效性：人脸替换、音视频合成以及文本到图像生成。

提出的方法

• FACTOR 将深度伪造检测建模为事实核查任务，即验证所声称的事实（如身份或字幕）与观察到的媒体之间的一致性。
• 使用现成的视觉和语言编码器（如 CLIP、BLIP2）计算媒体与所声称事实之间的相似度得分。
• 核心方法通过计算两个相似度得分的差值来生成真实度得分：一个使用 BLIP2，另一个使用 CLIP，以减轻对 CLIP 特征的过拟合。
• 最终得分定义为：s(x,y) = sim(φ^BLIP2_X(x), φ^BLIP2_Y(y)) - sim(φ^CLIP_X(x), φ^CLIP_Y(y))，偏好与非 CLIP 编码器的一致性。
• 该方法完全无需训练，且无需任何伪造数据用于预训练或微调。
• 适用于三种关键攻击类型：人脸替换（身份声称）、音视频对齐（事件一致性）以及文本到图像生成（提示-图像对齐）。

实验结果

研究问题

• RQ1 在未接触任何伪造数据的情况下，所声称信息与观察到媒体之间的事实一致性是否能检测零日深度伪造？
• RQ2 为何某些视觉-语言编码器（如 CLIP）在伪造图像上产生误导性得分，而其他编码器（如 BLIP2）能更可靠地检测它们？
• RQ3 所声称事实的信息量在多大程度上影响深度伪造检测的准确性？
• RQ4 仅使用现成特征的简单、无需训练的方法是否能在未见攻击上超越当前最先进监督式方法？
• RQ5 模型对特定编码器（如 CLIP）的过拟合如何影响基于事实核查的检测可靠性？

主要发现

• FACTOR 在文本到图像深度伪造检测任务中，使用 BLIP2-CLIP 差分得分达到 79.2% 的 ROC-AUC，显著优于单独使用 CLIP（30%）和 BLIP2（60%）。
• 该方法通过识别所声称事实（如身份或字幕）与视觉内容之间的不一致性来检测深度伪造，即使伪造媒体在视觉上高度逼真。
• CLIP 得分与深度伪造呈负相关，这是由于文本到图像模型（如 Stable Diffusion）在训练中使用了 CLIP 特征，导致其对 CLIP 特征产生过拟合。
• BLIP2 得分在真实与伪造图像之间表现出更好的分离性，表明非 CLIP 编码器对合成伪影和事实不一致性更具鲁棒性。
• 该方法在未见攻击类型（包括人脸替换和音视频合成）上泛化能力良好，即使在已见攻击上也优于监督基线方法。
• 随着所声称事实信息量的增加，检测能力随之提升，证实可验证的、高精度的声明对有效事实核查至关重要。