[논문 리뷰] Academ-AI: documenting the undisclosed use of generative artificial intelligence in academic publishing

Alex Glynn|arXiv (Cornell University)|2024. 11. 20.

Artificial Intelligence in Healthcare and Education인용 수 6

한 줄 요약

이 논문은 Academ-AI를 제시하고, 학술 작업에서 500건의 의심되는 미공개 AI 사용 사례 데이터세트를 분석하여 발행사별, APC, DOAJ/SJR 지표, 그리고 출판 후 정정 여부에 따른 만연성을 분석한다.

ABSTRACT

Since generative artificial intelligence (AI) tools such as OpenAI's ChatGPT became widely available, researchers have used them in the writing process. The consensus of the academic publishing community is that such usage must be declared in the published article. Academ-AI documents examples of suspected undeclared AI usage in the academic literature, discernible primarily due to the appearance in research papers of idiosyncratic verbiage characteristic of large language model (LLM)-based chatbots. This analysis of the first 768 examples collected reveals that the problem is widespread, penetrating the journals, conference proceedings, and textbooks of highly respected publishers. Undeclared AI seems to appear in journals with higher citation metrics and higher article processing charges (APCs), precisely those outlets that should theoretically have the resources and expertise to avoid such oversights. An extremely small minority of cases are corrected post publication, and the corrections are often insufficient to rectify the problem. The 768 examples analyzed here likely represent a small fraction of the undeclared AI present in the academic literature, much of which may be undetectable. Publishers must enforce their policies against undeclared AI usage in cases that are detectable; this is the best defense currently available to the academic publishing community against the proliferation of undisclosed AI. This is an updated version of a previous preprint.

연구 동기 및 목표

• 주요 출판사 전반에 걸친 AI 저자표시 및 선언 정책 환경을 개략적으로 설명한다.
• 500건의 의심되는 미공개 AI 사용 사례의 Academ-AI 저장소를 구축하고 특성화한다.
• 대표 저널과 연계된 발행사 특성(APC) 및 영향 지표(SJR)를 평가한다.
• 미공개 AI 사용에 대해 출판 후 대응(수정, 철회 포함)을 검토한다.
• 연구 무결성과 AI 선언 정책 집행에 대한 시사점을 논의한다.

제안 방법

• 문장 구문 패턴 및 정책 문장을 통해 저널 기사와 학술대회 논문에서 의심되는 AI 생성 텍스트를 식별한다.
• 발췌문을 수동으로 선별하고 메타데이터를 추출하며 Markdown 파일로 저장하고, Zotero로 인용을 관리한다.
• quanteda로 텍스트를 토큰화하여 여덟 가지 AI 텍스트 특성에 대한 문서 피처 매트릭스를 구축한다.
• 통계적 비교(카이제곱 검정, 윌콕슨) 및 통화조정된 APC/인용 분석을 수행한다.
• Academ-AI에 나타난 DOAJ에 색인된 저널과 SJR에 색인된 저널을 비교한다.
• 텍스트 지시자(예: 1인칭 사용, 지식 한계, “Certainly, here…”, “regenerate response” 등)를 설명한다.

실험 결과

연구 질문

• RQ1 분석된 상위 500건 문서에서 미공개 AI 생성 콘텐츠의 유병률과 분포는 무엇인가?
• RQ2 Academ-AI에 나타난 저널이 APC 및 인용 지표(SJR, h-지수)에서 동료 저널과 차이가 있는가?
• RQ3 미공개 AI 사용에 대해 발행사 관여 및 편집자 대응(철회/수정)의 어떤 패턴이 존재하는가?
• RQ4 어떤 텍스트 특징이 학술 기사에서 AI 생성 텍스트를 가장 신뢰성 있게 나타내는가?
• RQ5 DOAJ 및 SJR 표기에의 표현이 Academ-AI 데이터세트와 어떤 관련이 있는가?

주요 결과

• 데이터세트는 500건의 문서로 구성되며, 449건은 학술지 기사이고 51건은 학술대회 논문이다.
• 출판물의 93.2%가 2022년 이후이며, 6.8%는 ChatGPT의 2022년 출시 이전으로 보인다.
• 논문은 345개 저널에 걸쳐 있으며, 이 중 86%는 단일 기사만을 대표한다.
• 학술지 기사 중 13.1%만 대형 출판사의 저널에 게재되었고, 학술대회 논문의 88.2%는 대형 출판사에서 출판되었다.
• 최소 295편(65.7%)이 APC가 있는 저널에 실렸고, 전체의 중앙값 APC는 미화 150달러(IQR 50–1,295)이다.
• 대형 출판사들의 중앙값 APC는 3,039달러(IQR 2,191–3,530)로 다른 출판사보다 높으며, 80달러(IQR 34–300)와 비교하여 P<0.001.
• 35건(7.8%)의 논문이 DOAJ 색인 저널에 게재되었고, 이 중 28건은 APC를 가지며(84.8%), DOAJ 평균(34.3%)보다 높다(P<0.001).
• SJR 데이터베이스의 70개 저널이 82개의 Academ-AI 기사를 게재했고(18.3%), 표기된 저널은 중앙값 SJR, h-지수, 산출물, 인용 수, 문서당 인용이 더 높았다(all P<0.001).
• 사례의 약 3.0%가 출판 후 수정되었고, 2.2%는 공식적으로 수정되었으며 1.0%는 은밀하게 수정되었다.
• 형식적 수정 중 11건 중 4건이 ChatGPT를 AI 도구로 확인했고, 다른 사례는 Grammarly를 인용하거나 본 논문에 AI 선언이 없었으며, 많은 수정이 정책과 완전히 일치하지 않았다.