[論文レビュー] Bibliometric Analysis of Publisher and Journal Instructions to Authors on Generative-AI in Academic and Scientific Publishing

Conner Ganjavi, Michael Eppler+6 more|arXiv (Cornell University)|Jul 21, 2023

Machine Learning in Materials Science被引用数 4

ひとこと要約

本研究は、生成AI（GAI）の学術出版における使用に関する、上位100の出版者およびジャーナルの指針を体系的・定量的に分析し、政策の広範な不整合性を明らかにした。上位100のジャーナルのうち70%が指針を提供したが、上位25の出版者ではわずか17%にとどまり、禁止事項、開示要件、アクセス方法に顕著なばらつきが見られ、科学的整合性を保つために標準的で透明性の高いGAI政策の整備が急務であることが示された。

ABSTRACT

We aim to determine the extent and content of guidance for authors regarding the use of generative-AI (GAI), Generative Pretrained models (GPTs) and Large Language Models (LLMs) powered tools among the top 100 academic publishers and journals in science. The websites of these publishers and journals were screened from between 19th and 20th May 2023. Among the largest 100 publishers, 17% provided guidance on the use of GAI, of which 12 (70.6%) were among the top 25 publishers. Among the top 100 journals, 70% have provided guidance on GAI. Of those with guidance, 94.1% of publishers and 95.7% of journals prohibited the inclusion of GAI as an author. Four journals (5.7%) explicitly prohibit the use of GAI in the generation of a manuscript, while 3 (17.6%) publishers and 15 (21.4%) journals indicated their guidance exclusively applies to the writing process. When disclosing the use of GAI, 42.8% of publishers and 44.3% of journals included specific disclosure criteria. There was variability in guidance of where to disclose the use of GAI, including in the methods, acknowledgments, cover letter, or a new section. There was also variability in how to access GAI guidance and the linking of journal and publisher instructions to authors. There is a lack of guidance by some top publishers and journals on the use of GAI by authors. Among those publishers and journals that provide guidance, there is substantial heterogeneity in the allowable uses of GAI and in how it should be disclosed, with this heterogeneity persisting among affiliated publishers and journals in some instances. The lack of standardization burdens authors and threatens to limit the effectiveness of these regulations. There is a need for standardized guidelines in order to protect the integrity of scientific output as GAI continues to grow in popularity.

研究の動機と目的

• 上位100の学術出版者およびジャーナルが提供する生成AI（GAI）使用に関する指針の範囲と内容を評価すること。
• 禁止事項、開示要件、および指針のアクセス性を含む、GAI政策におけるパターンと格差を同定すること。
• 関連出版者およびジャーナル間でのGAI政策の標準化度を評価すること。
• 政策の多様性が著者および科学的出力の整合性に及ぼすリスクを浮き彫りにすること。

提案手法

• 2023年5月19日から20日までの間、GAI関連の著者向け指針を特定するために、出版者およびジャーナルのウェブサイトを体系的にスクリーニングした。
• 内容別に政策を分類：禁止事項、開示要件、推奨される開示場所、および指針のアクセス性。
• 科学分野における上位100の出版者およびジャーナルにおける政策の普及状況とばらつきを分析する体系的・定量的分析。
• 関連する出版者・ジャーナルペア間での指針の整合性を評価するために、比較分析を実施した。

実験結果

リサーチクエスチョン

• RQ1 上位100の出版者およびジャーナルのうち、どれくらいの割合が著者による生成AI使用に関する公式な指針を提供しているか？
• RQ2 生成AI使用に関する政策は、禁止事項、開示要件、および推奨される開示場所の観点から、どのように異なるか？
• RQ3 関連する出版者およびジャーナル間で、GAI政策の標準化はどの程度進んでいるか？
• RQ4 GAI指針文書は、ジャーナルおよび出版者のウェブサイト間でどれほどアクセス可能で、一貫してリンクされているか？

主な発見

• 上位100の出版者の中では、生成AI使用に関する指針を提供したのはわずか17%であり、そのうち70.6%が上位25の出版者に所属していた。
• 上位100のジャーナルのうち70%が指針を提供したが、出版者では42.8%、ジャーナルでは44.3%にとどまり、詳細な開示基準が明示された。
• 94.1%の出版者および95.7%のジャーナルが、生成AIを共同著者としての参加を禁止していたが、5.7%のジャーナルでは生成AIを用いた原稿作成そのものを明確に禁止していた。
• 開示場所は多様で、研究手法、謝辞、カバーレター、または新設されたセクションに言及するなど、ばらつきが著しく、ジャーナルと出版者間での指針リンクが一貫していなかった。
• 指針を提供した17の出版者のうち、上位25に含まれるのは12にとどまり、主要出版社での政策開発が限定的であることが示された。
• 関連する出版者およびジャーナル間でも、GAI政策の顕著な多様性が継続しており、これにより明確性と実効性が損なわれている。