[论文解读] Bibliometric Analysis of Publisher and Journal Instructions to Authors on Generative-AI in Academic and Scientific Publishing

Conner Ganjavi, Michael Eppler+6 more|arXiv (Cornell University)|Jul 21, 2023

Machine Learning in Materials Science被引用 4

一句话总结

本文献计量研究分析了全球前100家出版商和期刊在学术出版中使用生成式人工智能（GAI）的指南，揭示了政策存在广泛不一致。在前100本期刊中，70%提供了指导，但仅有17%的顶级出版商提供了指导，且在禁止条款、披露要求和访问方式方面存在显著差异——凸显了制定标准化、透明的GAI政策以维护科学完整性的迫切需求。

ABSTRACT

We aim to determine the extent and content of guidance for authors regarding the use of generative-AI (GAI), Generative Pretrained models (GPTs) and Large Language Models (LLMs) powered tools among the top 100 academic publishers and journals in science. The websites of these publishers and journals were screened from between 19th and 20th May 2023. Among the largest 100 publishers, 17% provided guidance on the use of GAI, of which 12 (70.6%) were among the top 25 publishers. Among the top 100 journals, 70% have provided guidance on GAI. Of those with guidance, 94.1% of publishers and 95.7% of journals prohibited the inclusion of GAI as an author. Four journals (5.7%) explicitly prohibit the use of GAI in the generation of a manuscript, while 3 (17.6%) publishers and 15 (21.4%) journals indicated their guidance exclusively applies to the writing process. When disclosing the use of GAI, 42.8% of publishers and 44.3% of journals included specific disclosure criteria. There was variability in guidance of where to disclose the use of GAI, including in the methods, acknowledgments, cover letter, or a new section. There was also variability in how to access GAI guidance and the linking of journal and publisher instructions to authors. There is a lack of guidance by some top publishers and journals on the use of GAI by authors. Among those publishers and journals that provide guidance, there is substantial heterogeneity in the allowable uses of GAI and in how it should be disclosed, with this heterogeneity persisting among affiliated publishers and journals in some instances. The lack of standardization burdens authors and threatens to limit the effectiveness of these regulations. There is a need for standardized guidelines in order to protect the integrity of scientific output as GAI continues to grow in popularity.

研究动机与目标

• 评估全球前100家学术出版商和期刊在生成式人工智能（GAI）使用方面提供的指导范围与内容。
• 识别GAI政策中的模式与差异，包括禁止条款、披露要求以及指导信息的可及性。
• 评估附属出版商与期刊之间GAI政策的标准化程度。
• 强调政策异质性对作者及科学成果完整性的风险。

提出的方法

• 2023年5月19日至20日期间，系统筛查出版商和期刊网站，以识别与GAI相关的作者指南。
• 根据内容对政策进行分类：禁止条款、披露要求、推荐的披露位置以及指导信息的可及性。
• 对科学领域前100家出版商和期刊中政策的普遍性与差异性进行文献计量分析。
• 比较附属出版商-期刊配对之间的指导内容，以评估一致性。

实验结果

研究问题

• RQ1 在前100家出版商和期刊中，有多少比例提供了作者使用生成式人工智能的正式指导？
• RQ2 在禁止条款、披露要求以及推荐的披露位置方面，GAI使用政策如何变化？
• RQ3 在附属出版商与期刊之间，GAI政策的标准化程度如何？
• RQ4 GAI指导文件在期刊和出版商网站之间的可访问性与链接一致性如何？

主要发现

• 在前100家出版商中，仅有17%提供了关于生成式人工智能使用的指导，其中70.6%来自前25家出版商。
• 在前100本期刊中，70%提供了指导，但仅有42.8%的出版商和44.3%的期刊明确了详细的披露标准。
• 94.1%的出版商和95.7%的期刊禁止将生成式人工智能列为共同作者，而5.7%的期刊明确禁止在稿件生成中使用GAI。
• 披露位置差异显著，包括方法部分、致谢部分、投稿信或新增章节，且期刊与出版商网站之间指导文件的链接不一致。
• 在提供指导的17家出版商中，仅有12家属于前25名，表明主要出版机构在政策制定方面进展有限。
• 即使在关联的出版商与期刊之间，GAI政策仍存在显著异质性，损害了政策的清晰性与可执行性。