[论文解读] Detecting ChatGPT: A Survey of the State of Detecting ChatGPT-Generated Text

Mahdi Dhaini, Wessel Poelman+1 more|arXiv (Cornell University)|Sep 14, 2023

Artificial Intelligence in Healthcare and Education被引用 9

一句话总结

对ChatGPT生成文本的检测数据集与方法的综合综述，聚焦学术工作、数据集与定性洞见，并讨论鲁棒性与多语言性。

ABSTRACT

While recent advancements in the capabilities and widespread accessibility of generative language models, such as ChatGPT (OpenAI, 2022), have brought about various benefits by generating fluent human-like text, the task of distinguishing between human- and large language model (LLM) generated text has emerged as a crucial problem. These models can potentially deceive by generating artificial text that appears to be human-generated. This issue is particularly significant in domains such as law, education, and science, where ensuring the integrity of text is of the utmost importance. This survey provides an overview of the current approaches employed to differentiate between texts generated by humans and ChatGPT. We present an account of the different datasets constructed for detecting ChatGPT-generated text, the various methods utilized, what qualitative analyses into the characteristics of human versus ChatGPT-generated text have been performed, and finally, summarize our findings into general insights

研究动机与目标

• 在法律、教育、科学等领域说明区分人类文本与ChatGPT生成文本的必要性。
• 回顾专门用于ChatGPT检测的数据集与方法。
• 总结人类文本与ChatGPT文本在语言与风格方面的定性差异。
• 强调检测中的挑战、局限性及未来研究方向。
• 提供一个整合视角，帮助研究者在数据集与方法选择上作出决策。

提出的方法

• 评审并对检测方法进行分类（基于分类器、零-shot、困惑度基、可解释性驱动）。
• 整理并总结用于ChatGPT检测的数据集（领域、语言、公开可用性、域外变体）。
• 基于性能、对对抗性提示的鲁棒性与多语言能力对方法进行对比。
• 提取跨领域的人类与ChatGPT文本在语言特征上的定性差异。
• 讨论用于分析检测器决策的可解释性工具（如 SHAP）。
• 综合 générale 洞见并概述开放挑战与未来方向。

实验结果

研究问题

• RQ1 存在用于检测ChatGPT生成文本的数据集吗？它们是否公开可获得？
• RQ2 专门为ChatGPT生成文本提出了哪些检测方法？它们在语言和领域上有何差异？
• RQ3 语言与风格特征如何在跨领域区分人类与ChatGPT写作？
• RQ4 ChatGPT检测方法的关键挑战与鲁棒性问题有哪些（对抗性攻击、域外文本、多语言性）？

主要发现

数据集名称	领域	公开	域外数据 (OOD)	规模与设置
Guo et al. 2023 (HC3-English)	多领域	✓	×	Q&A Questions: 24,322 Human-A: 58,546 ChatGPT-A: 26,903
Guo et al. 2023 (HC3-Chinese)	多领域	✓	×	Q&A Questions: 12,853 Human-A: 22,259 ChatGPT-A: 17,522
Yu et al. 2023 (CHEAT)	科学领域	×	✓	Abstracts Human: 15,395 ChatGPT: 35,304
He et al. 2023 (MGTBench)	一般领域	✓	×	Q&A pairs Human: 2,817 ChatGPT: 2,817
Liu et al. 2023 (ArguGPT)	教育领域	✓	×	Essays Human: 4,115 ChatGPT: 4,038
Vasilatos et al. 2023	教育领域	Human*	×	Q&A Questions: 320 Human-A: 960 ChatGPT-A: 960
Mitrović et al. 2023	一般领域	Human*	✓	Reviews Human: 1,000 ChatGPT-query: 395 ChatGPT-rephrase: 1,000
Weng et al. 2023	科学领域	Human	×	Title-Abstract pairs Human: 59,232 ChatGPT: 59,232
Antoun et al. 2023a	一般领域	✓	✓	Q&A HC3-English OOD-ChatGPT: 5,969
Liao et al. 2023	医学领域	Human	×	Abstracts and records Human: 2,200 ChatGPT: 2,200
Table 1 total entries and notes	—	—	—	—

• 跨领域存在多样的数据集（教育、科学、医学、通用问答）。
• 以 RoBERTa 或变换器为基础的检测器通常优于困惑度基基线，对某些对抗变体具有鲁棒性。
• 以英语数据训练的语言模型在检测任务中通常优于多语言模型。
• 可解释性方法（如 SHAP）有助于解释检测器决策并识别显著特征。
• 在域外数据和对抗性修改（拼写错误、同形字等）下检测性能下降。
• 较短的文本长度降低检测可靠性；较长、具上下文的文本性能更好。