[论文解读] ChatGPT "contamination": estimating the prevalence of LLMs in the scholarly literature

Andrew Gray|arXiv (Cornell University)|Mar 25, 2024

Artificial Intelligence in Healthcare and Education被引用 29

一句话总结

本文通过使用在LLM生成文本中不成比例存在的关键词来估计2023年有多少篇学术文章受到大型语言模型（LLMs）如ChatGPT的帮助，估计至少有60,000篇论文（约占所有文章的1%左右）受到影响。

ABSTRACT

The use of ChatGPT and similar Large Language Model (LLM) tools in scholarly communication and academic publishing has been widely discussed since they became easily accessible to a general audience in late 2022. This study uses keywords known to be disproportionately present in LLM-generated text to provide an overall estimate for the prevalence of LLM-assisted writing in the scholarly literature. For the publishing year 2023, it is found that several of those keywords show a distinctive and disproportionate increase in their prevalence, individually and in combination. It is estimated that at least 60,000 papers (slightly over 1% of all articles) were LLM-assisted, though this number could be extended and refined by analysis of other characteristics of the papers or by identification of further indicative keywords.

研究动机与目标

• 促使人们理解LLM工具在学术写作中的广泛使用程度。
• 提出基于关键词的方法来检测文献中LLM辅助写作。
• 提供对2023年出版的论文中LLM辅助写作的普遍程度的估计。

提出的方法

• 使用被已知在LLM生成文本中不成比例出现的关键词作为指示符。
• 分析2023年学术文本中这些关键词的流行度，以检测不成比例的增加。
• 同时考虑单个关键词及其组合，以识别LLM辅助写作的特征。
• 基于关键词信号给出LLM辅助论文的总数估计。

实验结果

研究问题

• RQ1 一组在LLM生成文本中不成比例出现的关键词是否能揭示学术语料库中的LLM辅助写作？
• RQ2 基于关键词流行度，对2023年学术文章中LLM辅助的估计比例是多少？
• RQ3 单个关键词及关键词组合如何促成对LLM污染的检测？
• RQ4 哪些改进将提高在文献中估计LLM辅助普遍性的准确性？

主要发现

• 若干关键词在2023年呈现出明显且不成比例的上升，单独及组合均如此。
• 估计在2023年，至少有60,000篇论文是LLM辅助的，相当于所有文章的略超过1%。
• 通过分析更多论文特征或识别更多指示性关键词，可以扩展或细化估计。