[논문 리뷰] Bibliometric Analysis of Publisher and Journal Instructions to Authors on Generative-AI in Academic and Scientific Publishing

Conner Ganjavi, Michael Eppler외 6명|arXiv (Cornell University)|2023. 07. 21.

Machine Learning in Materials Science인용 수 4

한 줄 요약

이 문헌지수 분석 연구는 학술 출판 분야에서 생성형 AI(GAI) 사용에 대한 상위 100개 출판사 및 저널의 지침을 분석하여 정책 간 광범위한 일관성 부족을 드러낸다. 상위 100개 저널 중 70%가 지침을 제공했지만, 상위 100개 출판사 중에서는 단 17%에 불과했으며, 금지 조항, 공개 요구 사항, 접근 방법 등에서 상당한 변동성이 있었으며, 이는 과학적 신뢰성을 유지하기 위해 표준화되고 투명한 GAI 정책이 절실하게 필요하다는 것을 시사한다.

ABSTRACT

We aim to determine the extent and content of guidance for authors regarding the use of generative-AI (GAI), Generative Pretrained models (GPTs) and Large Language Models (LLMs) powered tools among the top 100 academic publishers and journals in science. The websites of these publishers and journals were screened from between 19th and 20th May 2023. Among the largest 100 publishers, 17% provided guidance on the use of GAI, of which 12 (70.6%) were among the top 25 publishers. Among the top 100 journals, 70% have provided guidance on GAI. Of those with guidance, 94.1% of publishers and 95.7% of journals prohibited the inclusion of GAI as an author. Four journals (5.7%) explicitly prohibit the use of GAI in the generation of a manuscript, while 3 (17.6%) publishers and 15 (21.4%) journals indicated their guidance exclusively applies to the writing process. When disclosing the use of GAI, 42.8% of publishers and 44.3% of journals included specific disclosure criteria. There was variability in guidance of where to disclose the use of GAI, including in the methods, acknowledgments, cover letter, or a new section. There was also variability in how to access GAI guidance and the linking of journal and publisher instructions to authors. There is a lack of guidance by some top publishers and journals on the use of GAI by authors. Among those publishers and journals that provide guidance, there is substantial heterogeneity in the allowable uses of GAI and in how it should be disclosed, with this heterogeneity persisting among affiliated publishers and journals in some instances. The lack of standardization burdens authors and threatens to limit the effectiveness of these regulations. There is a need for standardized guidelines in order to protect the integrity of scientific output as GAI continues to grow in popularity.

연구 동기 및 목표

• 상위 100개 학술 출판사 및 저널이 제공하는 생성형 AI(GAI) 사용 지침의 범위와 내용을 평가하기 위해.
• 금지 조항, 공개 요구 사항, 지침 접근성 등을 포함한 GAI 정책의 패턴과 격차를 규명하기 위해.
• 소속된 출판사 및 저널 간 GAI 정책의 표준화 수준을 평가하기 위해.
• 저자 및 과학적 연구 결과의 신뢰성에 위험을 초래할 수 있는 정책의 이원성에 주목하기 위해.

제안 방법

• 2023년 5월 19일에서 20일 사이에 상위 100개 출판사 및 저널의 웹사이트를 체계적으로 스크리닝하여 저자 지침과 관련된 GAI 정보를 확보하기 위해.
• 내용 기반 정책 분류: 금지 조항, 공개 요구 사항, 권장된 공개 위치, 지침 접근성.
• 과학 분야 상위 100개 출판사 및 저널에서 정책의 보편성과 다양성을 분석하기 위한 문헌지수 분석.
• 일관성 평가를 위해 소속된 출판사-저널 쌍 간 지침을 비교하기 위해.

실험 결과

연구 질문

• RQ1 상위 100개 출판사 및 저널 중 얼마나 많은 비율이 저자들이 생성형 AI를 사용하는 데 대해 공식적인 지침을 제공하고 있는가?
• RQ2 생성형 AI 사용 정책은 금지 조항, 공개 요구 사항, 권장된 공개 위치 측면에서 어떻게 다양하게 나타나는가?
• RQ3 소속된 출판사 및 저널 간 GAI 정책의 표준화 정도는 어느 정도인가?
• RQ4 GAI 지침 문서는 저널 및 출판사 웹사이트 간에 얼마나 접근 가능하고 일관되게 연결되어 있는가?

주요 결과

• 상위 100개 출판사 중에서 생성형 AI 사용에 대한 지침을 제공한 곳은 단 17%였으며, 이 중 70.6%는 상위 25개 출판사에 속해 있었다.
• 상위 100개 저널 중 70%가 지침을 제공했지만, 출판사의 경우 42.8%, 저널의 경우 44.3%만이 구체적인 공개 기준을 명시했다.
• 출판사의 94.1%와 저널의 95.7%는 생성형 AI를 공동 저자로 포함하는 것을 금지했으며, 저널의 5.7%는 수기 작성 과정에서의 GAI 사용을 명시적으로 금지했다.
• 공개 위치는 다양하게 나타났으며, 방법, 감사, 제출서, 또는 새로운 섹션 등으로 언급되었고, 저널과 출판사 간 지침 간 연결이 일관되지 않았다.
• 지침을 제공한 17개 출판사 중에서 상위 25개 출판사에 포함된 것은 단 12개에 그쳐 주요 출판사들 간 정책 개발이 제한되어 있음을 시사한다.
• 소속된 출판사 및 저널 간에도 여전히 상당한 GAI 정책의 이원성이 존재하여 명확성과 집행 가능성에 악영향을 미치고 있다.