[論文レビュー] Peer Review as A Multi-Turn and Long-Context Dialogue with Role-Based Interactions

Cheng Tan, Dongxin Lyu+6 more|arXiv (Cornell University)|Jun 9, 2024

Interdisciplinary Research and CollaborationDecision Sciences被引用数 3

ひとこと要約

本稿では、著者、レビュー担当者、意思決定者という明確な役割をもつ、複数回にわたる長文の対話として学術的査読を再定式化し、ICLR や Nature Communications などの主要な会議・雑誌から得た 26,841 範例の論文と 92,017 件のアノテート済みレビューを含む ReviewMT データセットを紹介する。本研究では、このデータセットを用いた教師あり微調整が、特に複数回のやり取りを伴う状況において、現実的で役割別に適切なレビューおよび意思決定の生成能力を大幅に向上させることを示している。

ABSTRACT

Large Language Models (LLMs) have demonstrated wide-ranging applications across various fields and have shown significant potential in the academic peer-review process. However, existing applications are primarily limited to static review generation based on submitted papers, which fail to capture the dynamic and iterative nature of real-world peer reviews. In this paper, we reformulate the peer-review process as a multi-turn, long-context dialogue, incorporating distinct roles for authors, reviewers, and decision makers. We construct a comprehensive dataset containing over 26,841 papers with 92,017 reviews collected from multiple sources, including the top-tier conference and prestigious journal. This dataset is meticulously designed to facilitate the applications of LLMs for multi-turn dialogues, effectively simulating the complete peer-review process. Furthermore, we propose a series of metrics to evaluate the performance of LLMs for each role under this reformulated peer-review setting, ensuring fair and comprehensive evaluations. We believe this work provides a promising perspective on enhancing the LLM-driven peer-review process by incorporating dynamic, role-based interactions. It aligns closely with the iterative and interactive nature of real-world academic peer review, offering a robust foundation for future research and development in this area. We open-source the dataset at https://github.com/chengtan9907/ReviewMT.

研究の動機と目的

• 既存の LLM アプリケーションにおける査読の静的かつ一回限りの性質を是正するため、プロセスを動的で反復的な対話としてモデル化すること。
• 実際の査読における全般的な複雑さ、すなわち反論、フィードバックループ、役割別責任を捉えること。
• ICLR や Nature Communications などの主要な会議・雑誌から得た、複数のソースにまたがる大規模なデータセット（ReviewMT）を構築し、全論文の文脈に根ざした複数回のやり取りのアノテーションを提供すること。
• 著者、レビュー担当者、意思決定者という各役割の性能を公平に評価できる、役割別評価指標を開発すること。
• ReviewMT データセットを用いた教師あり微調整が、文脈に配慮した、的確で役割別に適切な査読応答を生成する LLM の能力を顕著に向上させることを実証すること。

提案手法

• 著者、レビュー担当者、意思決定者という3つの明確な役割を含む、複数回にわたる長文の対話として査読を再定式化する。
• ICLR (ICLR) および Nature Communications (NC) から実際の査読対話のデータを収集し、全レビュー履歴および反論を含めて、ReviewMT データセットを構築する。
• 各対話のターンごとに、役割別文脈をアノテートし、論文全体の文脈に完全に根ざした状態を保ち、反復的なやり取りの追跡を可能にする。
• 各役割に特化した一連の評価指標を設計：レビューの的中率、意思決定の的中率、F1スコア、およびテキスト類似度を用いて、応答の質を評価する。
• ReviewMT データセットを用いた教師あり微調整を実施し、役割別応答の生成能力を向上させる。
• 2つのテスト分割（ReviewMT-ICLR：複数回、ReviewMT-NC：1回）を用いて、ゼロショットと微調整済みの両設定での LLM の評価を実施し、モデル間の定量的比較を実施する。

実験結果

リサーチクエスチョン

• RQ1 実際の学術的査読の反復的かつ相互作用的な性質を捉えるために、査読を複数回のやり取りと役割別アプローチを持つ対話として効果的にモデル化できるか？
• RQ2 複数回のやり取りと長文の論文文脈の根拠が、現実的で自然な査読応答を生成する LLM の性能にどのように影響するか？
• RQ3 ReviewMT データセットを用いた教師あり微調整が、的確で文脈に配慮した、役割別に適切な査読および意思決定の生成能力をどの程度向上させられるか？
• RQ4 異なる LLM アーキテクチャが、複数回のやり取りを伴う査読対話の文脈において、著者、レビュー担当者、意思決定者という3つの役割でそれぞれどのように性能を発揮するか？
• RQ5 特に複数回対話 vs 1回対話の構造という点に注目した場合、データセットの構造が微調整による性能向上に与える影響は何か？

主な発見

• ReviewMT-ICLR データセットを用いた教師あり微調整により、LLM の性能が顕著に向上し、最良のモデルではレビュアー役割で F1 スコア 94.20%、意思決定の的中率 81.11% を達成した。
• Gemma モデルは、最高の意思決定的中率（81.11%）と高い F1 スコア（0.9420）を達成し、役割別意思決定能力に優れていることが示された。
• ゼロショット性能は一貫して低く、ほとんどのモデルで意思決定的中率が 25% 未満にとどまっていたことから、現実的な査読生成には微調整の必要性が明確になった。
• 複数回のやり取りを持つ ReviewMT-ICLR データセットは、1回のやり取りに限る ReviewMT-NC データセットよりも、微調整による性能向上が顕著に見られた。これは、対話の複雑さの価値を裏付けている。
• テキスト類似度指標では、微調整済みモデルが、特に複数回のやり取りの文脈において、人間が作成したレビューとスタイルおよび内容の点で顕著に近い応答を生成していることが示された。
• Yuan モデルは F1 スコアが完璧な 1.0000 を達成したが、意思決定的中率はたったの 0.05% にとどまり、レビューの質は高いものの、意思決定の分野では過剰に制限されている可能性があることが示唆された。