[論文レビュー] Detecting AI-Generated Content in Academic Peer Reviews
この論文は歴史的な査読データで検出器を学習し、後の査読でAI生成コンテンツを識別するとともに、ICLRとNature Communicationsにおけるその時間的出現を分析する。
The growing availability of large language models (LLMs) has raised questions about their role in academic peer review. This study examines the temporal emergence of AI-generated content in peer reviews by applying a detection model trained on historical reviews to later review cycles at International Conference on Learning Representations (ICLR) and Nature Communications (NC). We observe minimal detection of AI-generated content before 2022, followed by a substantial increase through 2025, with approximately 20% of ICLR reviews and 12% of Nature Communications reviews classified as AI-generated in 2025. The most pronounced growth of AI-generated reviews in NC occurs between the third and fourth quarter of 2024. Together, these findings provide suggestive evidence of a rapidly increasing presence of AI-assisted content in peer review and highlight the need for further study of its implications for scholarly evaluation.
研究の動機と目的
- AI生成コンテンツが学術的査読に時間とともに現れるかを評価する。
- 歴史的な査読データで訓練した検出モデルの時間的一般化を評価する。
- 異なる査読プロセスを持つ2つの場におけるAI生成またはAI支援査読の普及率を定量化する。
提案手法
- 査読を人間執筆 or AI生成の二値分類として定式化する。
- Low-Rank Adaptationを用いてLongformerベースの検出器を2021年の査読で訓練する。
- 追加適応なしで2022–2025年の査読で検出を評価する。
- 訓練データのバランスを取るために単一モデル（DeepSeek Reasoner）によって生成された合成AI生成査読を使用する。
- 時間的傾向を分析するためにNCの査読を年別および四半期別に集計する。
実験結果
リサーチクエスチョン
- RQ1ICLRとNature CommunicationsでAI生成コンテンツは時間とともに増加するか？
- RQ2歴史的な査読で訓練した検出器は異なる会場の後年にも一般化できるか？
- RQ3NCのAI生成査読の時間的・四半期的パターンとICLRの年間パターンはどうなるか？
主な発見
| Year | Total Reviews | AI-Detected | Percentage (%) |
|---|---|---|---|
| 2022 | 1,937 | 2 | 0.10 |
| 2023 | 1,887 | 0 | 0.00 |
| 2024 | 1,818 | 133 | 7.32 |
| 2025 | 1,961 | 392 | 19.99 |
- ICLR: AI生成査読は2022–2023年にはほぼ0%から、2024年には7.32%、2025年には19.99%に増加する。
- NC: AI生成査読は2022年の0%から2025年には12.32%へ増加し、2024年に顕著な成長を示す。
- 両会場とも初期の数年はAI生成検出が最小で、後年に大幅な増加を示しており、査読形式全般にわたる広い傾向を示している。
- モデルは訓練データ（ICLR 2021とNC 2021）で完全な分類性能を達成し、それ以降の年でAI検出比が増加する傾向を示す。
より良い研究を、今すぐ始めましょう
論文設計から論文執筆まで、研究時間を劇的に削減しましょう。
クレジットカード登録不要
このレビューはAIが作成し、人間の編集者が確認しました。