[论文解读] DetectRL: Benchmarking LLM-Generated Text Detection in Real-World Scenarios

Junchao Wu, Runzhe Zhan+5 more|arXiv (Cornell University)|Oct 31, 2024

Natural Language Processing Techniques被引用 4

一句话总结

本文提出了 DetectRL，一个用于评估大语言模型（LLM）生成文本检测在真实世界场景中表现的新基准。通过模拟多种现实攻击模式——如提示工程、人工修改以及对抗性扰动——并结合来自学术、新闻和社交媒体领域的多样化 LLM 与人工撰写数据，研究发现即使最先进的零样本检测器在对抗性攻击下平均 AUROC 仍下降高达 34.48%，凸显了其在鲁棒性与泛化能力方面的关键缺陷。

ABSTRACT

Detecting text generated by large language models (LLMs) is of great recent interest. With zero-shot methods like DetectGPT, detection capabilities have reached impressive levels. However, the reliability of existing detectors in real-world applications remains underexplored. In this study, we present a new benchmark, DetectRL, highlighting that even state-of-the-art (SOTA) detection techniques still underperformed in this task. We collected human-written datasets from domains where LLMs are particularly prone to misuse. Using popular LLMs, we generated data that better aligns with real-world applications. Unlike previous studies, we employed heuristic rules to create adversarial LLM-generated text, simulating various prompts usages, human revisions like word substitutions, and writing noises like spelling mistakes. Our development of DetectRL reveals the strengths and limitations of current SOTA detectors. More importantly, we analyzed the potential impact of writing styles, model types, attack methods, the text lengths, and real-world human writing factors on different types of detectors. We believe DetectRL could serve as an effective benchmark for assessing detectors in real-world scenarios, evolving with advanced attack methods, thus providing more stressful evaluation to drive the development of more efficient detectors. Data and code are publicly available at: https://github.com/NLP2CT/DetectRL.

研究动机与目标

• 评估最先进 LLM 生成文本检测器在真实、实际应用场景中的表现，超越理想化测试条件。
• 识别影响检测器鲁棒性与泛化能力的真实世界因素，如写作风格、模型类型、攻击方法、文本长度及人工修改。
• 开发一个综合性基准，整合多样化的攻击模式与真实数据分布，以全面压力测试检测系统。
• 提供一个公开可访问的基准，能够随新兴攻击技术持续演进，推动更鲁棒检测方法的发展。

提出的方法

• 从高风险领域（易被 LLM 滥用）收集人工撰写的数据集，包括学术写作、新闻、创意写作及社交媒体内容。
• 使用功能强大且广泛使用的模型（如 GPT-3.5-turbo、PaLM-2-bison、Claude-instant、Llama-2-70b）生成 LLM 生成的文本，以确保真实性。
• 应用启发式规则模拟现实世界中的对抗性行为，包括基于提示的攻击、同义词替换以及故意的写作错误。
• 采用多种攻击策略：基于提示的攻击、改写、对抗性扰动以及数据混合，以增加检测难度。
• 在领域、LLM 和攻击类型之间平衡数据分布，以确保测试场景的多样性和真实性。
• 通过不同长度的增强方法扩大文本长度覆盖范围，提升实际应用的相关性。

Figure 1: The overall framework of DetectRL . Human-written samples are collected from high-risk and abuse-prone domains. We employ widely-used and powerful LLMs to create LLM-generated samples. All samples undergo well-designed attacks to simulate real-world scenarios and a varying length augmentat

实验结果

研究问题

• RQ1 在包含类人修改与对抗性提示的现实应用场景中，最先进 LLM 生成文本检测器的表现如何？
• RQ2 哪些真实世界因素——如写作风格、模型类型、攻击方法和文本长度——对检测器性能与泛化能力影响最大？
• RQ3 对抗性扰动攻击在多大程度上降低了零样本检测器与有监督检测器的性能？
• RQ4 人工撰写文本的修改与错误如何影响检测器的鲁棒性？
• RQ5 训练数据与测试数据的长度是否影响检测器的有效性？如果是，具体影响机制是什么？

主要发现

• 对抗性扰动攻击使所有零样本检测器的平均 AUROC 性能下降 34.48%，表明其对细微输入扰动存在严重脆弱性。
• 有监督检测器在多样化领域、LLM 及攻击类型下展现出显著更强的检测能力，优于零样本方法。
• 较短的训练数据提升了检测器的鲁棒性，而较长的测试序列则增强了检测性能，表明长度感知设计至关重要。
• 人工撰写文本的修改，包括同义词替换与轻微错误，对检测器影响极小，甚至在某些情况下提升了性能。
• 非正式写作风格以及 LLM 输出固有的独特统计模式，是导致检测器泛化能力与可靠性下降的关键因素。
• 该基准揭示，当前检测器在现实世界中常见的复杂、多变的攻击条件下，难以实现有效泛化。