[论文解读] Fighting Fire with Fire: Can ChatGPT Detect AI-generated Text?

Amrita Bhattacharjee, Huan Liu|arXiv (Cornell University)|Aug 2, 2023

Topic Modeling被引用 6

一句话总结

本文研究了ChatGPT是否能通过将其视为零样本分类器来检测AI生成的文本。尽管在识别AI生成内容方面表现不佳，但ChatGPT（尤其是GPT-3.5）在检测人类撰写的文本方面表现显著更优，从而可构建一种非对称检测策略，利用此优势间接、高可靠地识别AI生成的文本。

ABSTRACT

Large language models (LLMs) such as ChatGPT are increasingly being used for various use cases, including text content generation at scale. Although detection methods for such AI-generated text exist already, we investigate ChatGPT's performance as a detector on such AI-generated text, inspired by works that use ChatGPT as a data labeler or annotator. We evaluate the zero-shot performance of ChatGPT in the task of human-written vs. AI-generated text detection, and perform experiments on publicly available datasets. We empirically investigate if ChatGPT is symmetrically effective in detecting AI-generated or human-written text. Our findings provide insight on how ChatGPT and similar LLMs may be leveraged in automated detection pipelines by simply focusing on solving a specific aspect of the problem and deriving the rest from that solution. All code and data is available at https://github.com/AmritaBh/ChatGPT-as-Detector.

研究动机与目标

• 评估类似ChatGPT的大语言模型是否可作为AI生成文本的零样本检测器。
• 研究ChatGPT在区分人类撰写的文本与AI生成文本时的非对称性能表现。
• 探索利用ChatGPT在人类文本检测方面的优势能力，构建间接但有效的AI文本检测流程的可行性。
• 分析GPT-3.5与GPT-4在此检测任务中的模型特异性性能差异。
• 理解模型对数据集人工制品和时间漂移的敏感性对检测可靠性的影响。

提出的方法

• 将ChatGPT（GPT-3.5和GPT-4）用作零样本分类器，在无需微调的情况下区分人类撰写的文本与AI生成的文本。
• 对每个输入样本，向模型提供二分类指令：'此文本是由人类还是由AI撰写的？'
• 在公开的TuringBench数据集上开展实验，该数据集包含19种不同的AI生成器以及来自CNN和《华盛顿邮报》的人类撰写的新闻文章。
• 使用准确率、精确率、召回率和F1分数等标准指标，对多种生成器类型和文本风格进行性能评估。
• 在相同基准上对比GPT-3.5与GPT-4的性能，以评估其鲁棒性与可靠性差异。
• 提出一种间接检测策略，即通过可靠识别人类撰写的文本，再以排除法推断出AI生成的文本。

实验结果

研究问题

• RQ1 ChatGPT能否在零样本设置下准确检测AI生成的文本？
• RQ2 ChatGPT在检测AI生成文本与人类撰写的文本时，性能表现有何差异？
• RQ3 GPT-3.5是否在检测人类撰写的文本方面优于GPT-4？若是，原因是什么？
• RQ4 数据集人工制品和模型敏感性如何随时间影响检测的可靠性？
• RQ5 能否利用ChatGPT的非对称检测能力，构建有效的间接AI文本检测流程？

主要发现

• GPT-3.5在检测人类撰写的文本方面表现显著优于GPT-4，且假阴性率更低。
• GPT-4对数据集人工制品和噪声（尤其是网络爬取数据）表现出高度敏感性，导致性能随时间推移出现不一致甚至下降。
• ChatGPT在识别AI生成的文本方面表现不佳，特别是对新型或更先进的生成器，表明其检测能力存在根本性的非对称性。
• 尽管在AI生成文本检测方面表现较差，但ChatGPT在人类文本检测方面的强大能力使其能够通过间接策略有效识别AI生成的文本。
• GPT-3.5与GPT-4之间的性能差距表明，新型大模型未必在检测任务中更具可靠性，因其对数据人工制品的敏感性更高。
• 研究结果支持将GPT-3.5等大语言模型作为自动化检测流程中的可靠组件，通过聚焦于识别人类撰写的文本，作为AI检测的代理方法。