[論文レビュー] What Can Natural Language Processing Do for Peer Review?

Ilia Kuznetsov, Osama Mohammed Afzal+22 more|TUbilio (Technical University of Darmstadt)|May 10, 2024

Topic Modeling被引用数 5

ひとこと要約

本論文は、AI会議の査読全ライフサイクルにわたってNLPが査読を支援する方法を概説し、機会・課題・行動喚起を示している。

ABSTRACT

The number of scientific articles produced every year is growing rapidly. Providing quality control over them is crucial for scientists and, ultimately, for the public good. In modern science, this process is largely delegated to peer review -- a distributed procedure in which each submission is evaluated by several independent experts in the field. Peer review is widely used, yet it is hard, time-consuming, and prone to error. Since the artifacts involved in peer review -- manuscripts, reviews, discussions -- are largely text-based, Natural Language Processing has great potential to improve reviewing. As the emergence of large language models (LLMs) has enabled NLP assistance for many new tasks, the discussion on machine-assisted peer review is picking up the pace. Yet, where exactly is help needed, where can NLP help, and where should it stand aside? The goal of our paper is to provide a foundation for the future efforts in NLP for peer-reviewing assistance. We discuss peer review as a general process, exemplified by reviewing at AI conferences. We detail each step of the process from manuscript submission to camera-ready revision, and discuss the associated challenges and opportunities for NLP assistance, illustrated by existing work. We then turn to the big challenges in NLP for peer review as a whole, including data acquisition and licensing, operationalization and experimentation, and ethical issues. To help consolidate community efforts, we create a companion repository that aggregates key datasets pertaining to peer review. Finally, we issue a detailed call for action for the scientific community, NLP and AI researchers, policymakers, and funding bodies to help bring the research in NLP for peer review forward. We hope that our work will help set the agenda for research in machine-assisted scientific quality control in the age of AI, within the NLP community and beyond.

研究の動機と目的

• NLPを用いた査読支援の問題領域を整理する。
• AI会議の査読プロセスの中でNLPが役立つ段階を特定する。
• NLP支援査読のデータ・倫理・評価における課題を浮き彫りにする。
• 補足データリポジトリの提案とコミュニティの行動要請を行う。

提案手法

• AI会議の査読プロセスを実例として構造的に解説する。
• 各段階（事前査読、査読中、事後査読）での潜在的なNLP支援タスクを論じる。
• 既存研究の事例とデータ収集・ライセンス・評価に関する実務的メモを用いた解説。
• NLPを査読に関連するデータを集約する補足リポジトリの提案。
• 将来の研究を指針づける倫理・法的・方法論的配慮の整理。

(a) Key stages of peer review

実験結果

リサーチクエスチョン

• RQ1 査読プロセスの各段階を意味ある形で支援できるNLPタスクは何か？
• RQ2 データ・ライセンス・評価・倫理を含む、査読にNLPを導入する際の主要な課題は何か？
• RQ3 完全自動化せずに、NLPツールは査読の効率・品質・信頼をどう向上させ得るか？
• RQ4 機械支援査読を進めるために必要なインフラ・データセット・協働努力は何か？
• RQ5 NLP搭載査読研究に伴うべきベストプラクティスと方針は何か？

主な発見

• NLPは投稿審査の事前審査や査読者–論文のマッチング、レビューの分析、メタレビューの分析など、複数の段階で支援できる。
• 現在の類似度ベースの査読者–論文スコアリングとキーワードベースのマッチングには制約と解釈性の懸念があり、さらなる改善が必要。
• 偏り・透明性・ライセンスを含む倫理的・法的・データ上の課題が、査読へのNLP導入の中心となっている。
• コミュニティ連携を促進するため、査読用NLPに関連するデータセットを収集・共有する補足リポジトリの提案。
• 完全な査読の自動化はなお難しいが、ターゲットを絞ったNLPツールは作業負荷を意味的に削減し、プロセスの堅牢性を向上させる。

Figure 2 : Areas of assistance before peer review.