[论文解读] Monitoring AI-Modified Content at Scale: A Case Study on the Impact of ChatGPT on AI Conference Peer Reviews

Weixin Liang, Zachary Izzo+10 more|arXiv (Cornell University)|Mar 11, 2024

Artificial Intelligence in Healthcare and Education被引用 63

一句话总结

本文提出一种可扩展的最大似然方法，用于估计语料库中被AI实质性修改或生成的文本比例，并将其应用于ChatGPT发布后ML会议的同行评审，揭示在ICLR、NeurIPS、EMNLP等会议的AI修改评审有可衡量的上升，但在Nature期刊中并无显著变化。

ABSTRACT

We present an approach for estimating the fraction of text in a large corpus which is likely to be substantially modified or produced by a large language model (LLM). Our maximum likelihood model leverages expert-written and AI-generated reference texts to accurately and efficiently examine real-world LLM-use at the corpus level. We apply this approach to a case study of scientific peer review in AI conferences that took place after the release of ChatGPT: ICLR 2024, NeurIPS 2023, CoRL 2023 and EMNLP 2023. Our results suggest that between 6.5% and 16.9% of text submitted as peer reviews to these conferences could have been substantially modified by LLMs, i.e. beyond spell-checking or minor writing updates. The circumstances in which generated text occurs offer insight into user behavior: the estimated fraction of LLM-generated text is higher in reviews which report lower confidence, were submitted close to the deadline, and from reviewers who are less likely to respond to author rebuttals. We also observe corpus-level trends in generated text which may be too subtle to detect at the individual level, and discuss the implications of such trends on peer review. We call for future interdisciplinary work to examine how LLM use is changing our information and knowledge practices.

研究动机与目标

• 需要以语料库层面衡量AI辅助文本的使用，而不仅仅是对每份文档的分类。
• 开发一个可扩展的统计框架，用以估计大型文本语料库中的AI生成内容比例。
• 将该框架应用于顶级ML会议的同行评审，以观察ChatGPT发布后的趋势。

提出的方法

• 将问题表述为在 (1-α)P + αQ 的混合比例 α 的估计，其中 P 为人工撰写文本，Q 为AI生成文本。
• 将每份文档表示为一组标记出现（形容词）的集合，以通过标记出现频率来估计 P(t) 和 Q(t)。
• 使用极大似然估计，對数似然 L(α) = sum log((1-α)P(x_i) + αQ(x_i))。
• 通过提示人工撰写的评审和论文来生成AI生成语料，以用于估计 P 和 Q 的训练数据。
• 从标记出现频率估计 P 和 Q，而不是基于完整文档似然，以提高可行性和鲁棒性。
• 通过半合成目标进行验证：从人工和AI验证语料中抽样以验证 α 的估计值。

实验结果

研究问题

• RQ1 在ChatGPT发布后， major ML 会议的同行评审文本中有多少比例是被AI实质性生成或修改？
• RQ2 在大规模语料层面，AI修改文本的模式如何与评审者行为和内容质量相关？
• RQ3 该方法对不同会议和期刊的提示变体和领域转移是否鲁棒？
• RQ4 该方法是否能够将实质性AI修改与简单校对区分开来？
• RQ5 有哪些语料层面的信号（例如同质化）伴随AI生成内容出现在评审中？

主要发现

• 在ChatGPT后，ML会议的AI修改内容（α）呈上升趋势：ICLR 2024 的评审中约有 10.6%、EMNLP 中约 16.9% 具有实质性AI修改，而 Nature 的评审未显示显著变化。
• 存在截止日期效应，在截止日期前后提交的评审中，AI使用率更高。
• 包含学术引用（如含有“et al.”等）的评审，其估计的AI使用率低于无引用的评审。
• 作者回复活动较少的评审，其估计的AI使用率往往更高。
• 较高的AI修改估计与评审嵌入空间的同质化相关，指示除单份文档外的语料层面效应。