[论文解读] How Close is ChatGPT to Human Experts? Comparison Corpus, Evaluation, and Detection

Biyang Guo, Xin Zhang+6 more|arXiv (Cornell University)|Jan 18, 2023

Artificial Intelligence in Healthcare and Education被引用 292

一句话总结

本文介绍 HC3，一个大型的人类与 ChatGPT 比较语料库，分析 ChatGPT 与人类专家之间的语言和感知差异，并开发检测器以区分 AI 生成内容与人类生成内容，同时提供开源数据和模型。

ABSTRACT

The introduction of ChatGPT has garnered widespread attention in both academic and industrial communities. ChatGPT is able to respond effectively to a wide range of human questions, providing fluent and comprehensive answers that significantly surpass previous public chatbots in terms of security and usefulness. On one hand, people are curious about how ChatGPT is able to achieve such strength and how far it is from human experts. On the other hand, people are starting to worry about the potential negative impacts that large language models (LLMs) like ChatGPT could have on society, such as fake news, plagiarism, and social security issues. In this work, we collected tens of thousands of comparison responses from both human experts and ChatGPT, with questions ranging from open-domain, financial, medical, legal, and psychological areas. We call the collected dataset the Human ChatGPT Comparison Corpus (HC3). Based on the HC3 dataset, we study the characteristics of ChatGPT's responses, the differences and gaps from human experts, and future directions for LLMs. We conducted comprehensive human evaluations and linguistic analyses of ChatGPT-generated content compared with that of humans, where many interesting results are revealed. After that, we conduct extensive experiments on how to effectively detect whether a certain text is generated by ChatGPT or humans. We build three different detection systems, explore several key factors that influence their effectiveness, and evaluate them in different scenarios. The dataset, code, and models are all publicly available at https://github.com/Hello-SimpleAI/chatgpt-comparison-detection.

研究动机与目标

• 构建一个跨越多领域、包含人类专家和 ChatGPT 提问与回答的大规模 HC3 数据集。
• 进行人工评估和语言分析，以刻画人类与 ChatGPT 回应之间的差异。
• 开发并评估在多种场景下区分 AI 生成文本与人类生成文本的检测器。
• 将数据集、评估和检测模型开源，以支持未来研究和平台治理。

提出的方法

• 从公开的问答数据集和维基来源整理 HC3，以收集问题及人类和 ChatGPT 的回答。
• 进行多方面的人类评估，包括专家/业余者的图灵测试和有用性评估。
• 进行语言分析（词性、依存、情感、困惑度）以比较人类与 ChatGPT 的输出。
• 在多样化数据条件下训练并评估三种检测系统（基于 GLTR 的逻辑回归、RoBERTa 单文本、RoBERTa QA）。
• 通过创建六种数据变体（原始/过滤、完整/句子、句子/混合）并测试 OOD 性能，来检验鲁棒性和泛化能力。

实验结果

研究问题

• RQ1 在各领域中，ChatGPT 与人类专家在语言和风格特征上有何差异？
• RQ2 哪些因素影响 AI 生成内容相较于人类撰写文本的可检测性？
• RQ3 在不同数据条件和我们这六种变体数据集下，不同 AI 内容检测器的鲁棒性如何？
• RQ4 基于 HC3 分析，可以为未来的大型语言模型开发和平台治理提供哪些指导？

主要发现

• ChatGPT 的回答通常比人类回答更有条理、长度更长、更加中性，并具有不同的词性和依存模式。
• 人类往往使用更丰富的词汇和更多样的表达，而 ChatGPT 表现出更低的困惑度和更一致的风格模式。
• 在人类评估中，当展示一对回答时比仅展示一个回答更容易区分 ChatGPT，且专家在检测任务中胜过业余评估者。
• 在许多领域（金融、心理学）中，ChatGPT 内容往往被认为更有帮助，但在医学领域则较少，因为回答过于冗长或过于谨慎。
• 语言分析显示 ChatGPT 使用更多名词、动词、限定词和连接词，而人类则在情感和主观表达方面更加多样。