[论文解读] Deepfake Text Detection: Limitations and Opportunities

Jiameng Pu, Zain Sarwar+6 more|arXiv (Cornell University)|Oct 17, 2022

Advanced Malware Detection Techniques被引用 7

一句话总结

本文通过从实时服务收集合成文本并设计低成本对抗性攻击，评估了深度伪造文本检测防御在现实世界中的鲁棒性和泛化能力。结果发现，大多数防御机制在真实数据上的表现显著下降，且极易被简单的解码策略更改所绕过；而基于语义特征的检测方法（如FAST）展现出更优的鲁棒性和泛化能力。

ABSTRACT

Recent advances in generative models for language have enabled the creation of convincing synthetic text or deepfake text. Prior work has demonstrated the potential for misuse of deepfake text to mislead content consumers. Therefore, deepfake text detection, the task of discriminating between human and machine-generated text, is becoming increasingly critical. Several defenses have been proposed for deepfake text detection. However, we lack a thorough understanding of their real-world applicability. In this paper, we collect deepfake text from 4 online services powered by Transformer-based tools to evaluate the generalization ability of the defenses on content in the wild. We develop several low-cost adversarial attacks, and investigate the robustness of existing defenses against an adaptive attacker. We find that many defenses show significant degradation in performance under our evaluation scenarios compared to their original claimed performance. Our evaluation shows that tapping into the semantic information in the text content is a promising approach for improving the robustness and generalization performance of deepfake text detection schemes.

研究动机与目标

• 评估现有深度伪造文本检测防御机制在受控研究数据集之外的真实世界适用性。
• 探究对抗性攻击者如何通过低成本、计算高效的文本生成修改方式实现检测绕过。
• 评估语义级特征在提升检测鲁棒性和泛化能力方面的有效性。
• 提出并验证一种新型无查询对抗性攻击方法DFTFooler，用于深度伪造文本检测。
• 在现实、自适应威胁模型下，对检测性能进行系统性评估。

提出的方法

• 从3个文本生成即服务（text-generation-as-a-service）平台和一个基于GPT-3的Reddit机器人中收集了4个新的真实世界合成文本数据集。
• 在这些真实世界数据集上评估了6种最先进的深度伪造文本检测防御机制，以衡量其泛化性能。
• 设计了低成本对抗性攻击，通过修改文本生成策略（如解码方法）来实现检测绕过，且无需查询目标模型。
• 提出DFTFooler，一种无需访问目标模型查询或替代分类器的黑盒对抗性攻击，可利用检测模型的结构弱点。
• 使用DFTFooler生成的对抗性样本对RoBERTa-based防御模型进行微调，以测试其自适应鲁棒性。
• 通过FAST作为案例研究，分析了语义特征（如基于实体的模式）在提升检测鲁棒性方面的作用。

实验结果

研究问题

• RQ1 最先进的深度伪造文本检测防御机制在真实世界服务生成的合成文本上泛化能力如何？
• RQ2 低成本、无查询的对抗性攻击能否有效绕过现有的深度伪造文本检测模型？
• RQ3 修改文本生成过程（如解码策略）对检测绕过的影响如何？
• RQ4 利用语义特征在多大程度上能提升深度伪造文本检测器的鲁棒性和泛化能力？
• RQ5 对抗性微调在防御如DFTFooler这类自适应攻击时有多有效？

主要发现

• 许多深度伪造文本检测防御机制在真实世界服务生成的合成文本上表现显著下降，F1分数从受控环境中的79.6%至98.5%大幅降低。
• 依赖统计特征或解码特定特征的防御机制极易被简单更改文本生成策略（如采样温度或核采样）所绕过。
• 所提出的DFTFooler攻击在RoBERTa-Defense模型上实现了51.4%的绕过率，且无需向目标模型发起任何查询。
• 对RoBERTa-Defense模型进行对抗性微调后，DFTFooler的绕过率降至1.6%，表明自适应防御是可能的，但需要持续再训练。
• 基于语义的检测方法（如FAST）通过分析实体级模式，在真实世界数据上泛化能力更强，且对绕过攻击更具韧性。
• 本研究揭示，当前防御机制对操纵生成过程的自适应攻击者缺乏鲁棒性，凸显了基于语义一致性的无攻击检测机制的必要性。