[論文レビュー] Academ-AI: documenting the undisclosed use of generative artificial intelligence in academic publishing

Alex Glynn|arXiv (Cornell University)|Nov 20, 2024

Artificial Intelligence in Healthcare and Education被引用数 6

ひとこと要約

本論文は Academ-AI という、学術研究における未申告のAI使用疑いデータセットを提示し、出版社別の普及状況、APC、DOAJ/SJR 指標、公開後の訂正を分析する。

ABSTRACT

Since generative artificial intelligence (AI) tools such as OpenAI's ChatGPT became widely available, researchers have used them in the writing process. The consensus of the academic publishing community is that such usage must be declared in the published article. Academ-AI documents examples of suspected undeclared AI usage in the academic literature, discernible primarily due to the appearance in research papers of idiosyncratic verbiage characteristic of large language model (LLM)-based chatbots. This analysis of the first 768 examples collected reveals that the problem is widespread, penetrating the journals, conference proceedings, and textbooks of highly respected publishers. Undeclared AI seems to appear in journals with higher citation metrics and higher article processing charges (APCs), precisely those outlets that should theoretically have the resources and expertise to avoid such oversights. An extremely small minority of cases are corrected post publication, and the corrections are often insufficient to rectify the problem. The 768 examples analyzed here likely represent a small fraction of the undeclared AI present in the academic literature, much of which may be undetectable. Publishers must enforce their policies against undeclared AI usage in cases that are detectable; this is the best defense currently available to the academic publishing community against the proliferation of undisclosed AI. This is an updated version of a previous preprint.

研究の動機と目的

• 主要な出版社におけるAI著者権と申告ポリシーの現状を概説する。
• 未申告のAI使用が500件と推定される Academ-AI リポジトリを構築・特徴づける。
• 収録ジャournalに関連する出版社の特性（APC）と影響指標（SJR）を評価する。
• 未申告AI使用に対する公表後の対応（訂正・撤回を含む）を検討する。
• 研究の信頼性とAI申告ポリシーの実施強化への示唆を論じる。

提案手法

• 文章表現パターンやポリシー声明を用いて、ジャーナル論文および会議論文のAI生成テキストを疑う。
• 抜粋を手動で整理しメタデータを抽出。Markdown ファイルとして保存し、Zotero で引用を管理する。
• quanteda でテキストをトークン化し、8つのAIテキスト特徴量にわたる文書特徴行列を構築する。
• 統計的比較（カイ二乗検定、ウィルコクソン検定）および通貨換算後の APC/引用分析を実施する。
• Academ-AI に表れている DOAJ-indexed ジャーナルと SJR-indexed ジャーナルを比較する。
• 第一人称の使用、知識のカットオフ、“Certainly, here…”、“regenerate response” などの言語指標を説明する。

実験結果

リサーチクエスチョン

• RQ1 最初の500件の分析文書における未申告のAI生成コンテンツの有病率と分布はどのようか。
• RQ2 Academ-AI に収録されているジャーナルは、APCや引用指標（SJR、h-index）で同業他社と異なるか。
• RQ3 未申告AI使用に関する出版社の関与パターンと編集部の対応（撤回・訂正）の実例は何か。
• RQ4 学術論文においてAI生成テキストを最も確実に示す語用特徴はどれか。
• RQ5 DOAJおよびSJRでの表現とAcadem-AIデータセットとの関連はどうか。

主な発見

• データセットは500文書から成り、449件がジャーナル論文、51件が会議論文。
• 刊行物の93.2%は2022年以降、6.8%はChatGPTのリリース年である2022年以前。
• 論文は345誌にわたり、86%が単独記事を表す。
• ジャーナル論文のうち主要出版社のジャーナルに掲載された割合は13.1%、会議論文の88.2%は主要出版社から。
• 少なくとも295記事（65.7%）が何らかの APC を有するジャーナルに掲載されており、全体の中央値はUS$150（IQR 50–1,295）。
• 主要出版社の中央値 APC は US$3,039（IQR 2,191–3,530）で、他は US$80（IQR 34–300; P<0.001）。
• DOAJ-indexed ジャーナルに掲載された記事は35件（7.8%）、そのうち28件が APC を有し（84.8%）、DOAJ平均の34.3%より高い（P<0.001）。
• SJR データベースの70誌が82件の Academ-AI 記事を掲載（18.3%）; 表れた誌は中央値 SJR、h-index、アウトプット、引用数、論文あたりの引用数が高かった（ all P<0.001）。
• 公表後に訂正された例は約3.0%、公式訂正2.2%、ステルス訂正1.0%。
• 公式訂正11件中4件でChatGPTをAIツールとして特定。他はGrammarlyを挙げるか主論文にAI申告なし。多くの訂正はポリシーと完全には一致していない。