[论文解读] Academ-AI: documenting the undisclosed use of generative artificial intelligence in academic publishing

Alex Glynn|arXiv (Cornell University)|Nov 20, 2024

Artificial Intelligence in Healthcare and Education被引用 6

一句话总结

本论文提出 Academ-AI，一个包含500份学术作品中未披露AI使用的可疑样本的数据集，并通过出版商、 APC、DOAJ/SJR 指标及发表后纠错来分析其普遍性。

ABSTRACT

Since generative artificial intelligence (AI) tools such as OpenAI's ChatGPT became widely available, researchers have used them in the writing process. The consensus of the academic publishing community is that such usage must be declared in the published article. Academ-AI documents examples of suspected undeclared AI usage in the academic literature, discernible primarily due to the appearance in research papers of idiosyncratic verbiage characteristic of large language model (LLM)-based chatbots. This analysis of the first 768 examples collected reveals that the problem is widespread, penetrating the journals, conference proceedings, and textbooks of highly respected publishers. Undeclared AI seems to appear in journals with higher citation metrics and higher article processing charges (APCs), precisely those outlets that should theoretically have the resources and expertise to avoid such oversights. An extremely small minority of cases are corrected post publication, and the corrections are often insufficient to rectify the problem. The 768 examples analyzed here likely represent a small fraction of the undeclared AI present in the academic literature, much of which may be undetectable. Publishers must enforce their policies against undeclared AI usage in cases that are detectable; this is the best defense currently available to the academic publishing community against the proliferation of undisclosed AI. This is an updated version of a previous preprint.

研究动机与目标

• 概述在主要出版商中关于 AI 作者身份与声明的政策全景。
• 构建并描述 Academ-AI 的 500 份可疑未披露 AI 使用的资料库。
• 评估所代表期刊的出版商特征（APC）及影响力指标（SJR）。
• 检视发表后对未披露AI使用的回应，包括更正与撤稿。
• 讨论对科研诚信及 AI 声明政策执行的影响。

提出的方法

• 通过措辞模式和政策声明识别期刊文章和会议论文中可疑的 AI 生成文本。
• 手工整理摘录并提取元数据；以 Markdown 文件存储；使用 Zotero 管理引用。
• 使用 quanteda 对文本进行分词，构建覆盖八个 AI 文本特征的文档特征矩阵。
• 进行统计比较（卡方检验、Wilcoxon）以及货币调整的 APC/引用分析。
• 比较在 Academ-AI 中代表的 DOAJ 索引期刊与 SJR 索引期刊。
• 描述文本指示符（例如第一人称使用、知识截止、“Certainly, here…”、“regenerate response”）。

实验结果

研究问题

• RQ1 在前500份分析文献中，未披露的AI生成功内容的普遍性和分布如何？
• RQ2 Academ-AI 所代表的期刊在 APCs 与引用指标（SJR、H 指数）方面是否与同行存在差异？
• RQ3 关于未披露AI使用，出版商参与和编辑回应（撤稿/更正）有哪些模式？
• RQ4 哪些文本特征最能可靠指示学术文章中的AI生成文本？
• RQ5 DOAJ 和 SJR 的代表性与 Academ-AI 数据集之间有何关系？

主要发现

• 数据集含 500 份文献：449 份期刊论文和 51 份会议论文。
• 93.2% 的出版物来自 2022 年或更晚；6.8% 出现在 ChatGPT 于 2022 年发布之前。
• 文章分布于 345 种期刊，其中 86% 仅代表单篇文章。
• 期刊文章仅 13.1% 出自主要出版商的期刊；会议论文中 88.2% 来自主要出版商。
• 至少 295 篇文章（65.7%）出现在有一定 APC 的期刊中；全部的 APC 中位数为 US$150（IQR 50–1,295）。
• 主要出版商的中位 APC 更高（US$3,039，IQR 2,191–3,530）而非主要出版商（US$80，IQR 34–300；P<0.001）。
• 35 篇文章（7.8%）出现在 DOAJ 索引期刊中；其中 28 篇 有 APC（84.8%），高于 DOAJ 平均水平（34.3%；P<0.001）。
• SJR 数据库中的 70 种期刊发表了 82 篇 Academ-AI 文章（18.3%）；所代表期刊具有更高的中位 SJR、H 指数、产出、引用及单文献引用（均 P<0.001）。
• 约 3.0% 的示例在发表后被更正；2.2% 形式上更正，1.0% 为隐蔽更正。
• 在十一例正式更正中，有四例将 ChatGPT 识别为 AI 工具；其他情况引用了 Grammarly 或在主文中未声明 AI；许多更正未完全符合政策。