[論文レビュー] ChatGPT "contamination": estimating the prevalence of LLMs in the scholarly literature

Andrew Gray|arXiv (Cornell University)|Mar 25, 2024

Artificial Intelligence in Healthcare and Education被引用数 29

ひとこと要約

論文は、ChatGPT のような大規模言語モデル（LLM）によって支援された2023年の学術論文数を、LLM生成テキストに不均衡に現れるキーワードを用いて推定し、少なくとも60,000件の論文（全論文のわずか1％をやや超える）と見積もる。

ABSTRACT

The use of ChatGPT and similar Large Language Model (LLM) tools in scholarly communication and academic publishing has been widely discussed since they became easily accessible to a general audience in late 2022. This study uses keywords known to be disproportionately present in LLM-generated text to provide an overall estimate for the prevalence of LLM-assisted writing in the scholarly literature. For the publishing year 2023, it is found that several of those keywords show a distinctive and disproportionate increase in their prevalence, individually and in combination. It is estimated that at least 60,000 papers (slightly over 1% of all articles) were LLM-assisted, though this number could be extended and refined by analysis of other characteristics of the papers or by identification of further indicative keywords.

研究の動機と目的

• LLMツールが学術執筆でどれほど広く使用されているかを理解することを動機づける。
• 文献中のLLM支援執筆を検出するためのキーワードベースの方法を提案する。
• 2023年の出版年におけるLLM支援論文の普及度を提供する。

提案手法

• LLM生成テキストに不均衡に現れることが知られているキーワードを指標として使用する。
• 2023年の学術テキストにおけるこれらのキーワードの出現率を分析し、不均衡な増加を検出する。
• 個々のキーワードとそれらの組み合わせの両方を検討して、LLM支援執筆の署名を識別する。
• キーワード信号に基づいてLLM支援論文の総数の推定を作成する。

実験結果

リサーチクエスチョン

• RQ1 LLM生成テキストに不均衡に現れるキーワードのセットは、学術コーパスにおけるLLM支援執筆を明らかにできるか？
• RQ2 キーワードの出現率に基づいて、2023年の学術論文のうちLLM支援が占める割合はどのくらいと推定されるか？
• RQ3 個々のキーワードとキーワードの組み合わせは、LLM汚染の検出にどのように寄与するか？
• RQ4 文献におけるLLM支援普及の推定の精度を向上させる改良は何か？

主な発見

• いくつかのキーワードが、個別にも組み合わせでも特徴的で不均衡な増加を示している。
• 2023年には少なくとも60,000件の論文がLLM支援を受けており、全論文のわずか1％をわずかに超える。
• 追加の論文特性を分析するか、より示唆的なキーワードを特定することで、推定値を拡張または精緻化できる可能性がある。