[論文レビュー] The First Results of Distributed Peer Review at ESO Show Promising Outcomes

Tereza Jeřabková, F. Patat+6 more|arXiv (Cornell University)|Jan 1, 2023

Astronomy and Astrophysical Research被引用数 2

ひとこと要約

本論文は、欧州南天天文台（ESO）の分散型Peer Review（DPR）システムの初回2期（P110およびP111）を評価している。このDPRシステムでは、専門家パネルに依存するのではなく、主たる研究者（PI）が互いの助成金申請書をレビューする仕組みである。DPRシステムは、キーワードマッチングによる専門性スコアに基づいて申請書を割り当て、1件の申請書に対して最低10件のレビューを義務づける。その結果、従来のパネルレビューと同等の統計的成績が得られ、とくに拒否された申請書に対しては、より詳細で編集のないレビュアーのコメントのおかげでフィードバック満足度が著しく向上した。

ABSTRACT

The European Southern Observatory (ESO) implemented a new paradigm called Distributed Peer Review (DPR) as part of its proposal evaluation process in Period 110. Under DPR, Principal Investigators who submit proposals agree to review a certain number of proposals submitted by their peers and accept that their own proposal(s) are reviewed by their peers who have also submitted proposals in the same cycle. This article presents a brief overview of the DPR process at ESO, and its outcomes based on data from periods 110 and 111.

研究の動機と目的

• 大型天文学的施設における申請書の増加に伴い、専門家パネルが負う物流的負担を軽減するため。
• PIが互いの申請書をレビューする分散型Peer Review（DPR）モデルの実現可能性と品質を評価するため。
• DPRが、採点の一貫性とフィードバック品質の観点から、従来の専門家パネルレビューと同等の結果をもたらすかどうかを評価するため。
• 応募者から提供されたキーワードを用いた専門性マッチングアルゴリズムの有効性を分析するため。
• DPRと従来のパネルレビューにおけるレビュアーのフィードバックに対するユーザー満足度を測定するため。

提案手法

• ESOのP110およびP111の申請サイクルにおいてDPRシステムを実装。PIは自身の申請書のPeerレビューを受け入れるとともに、10件のPeer申請書をレビューする義務を負う。
• キーワードベースの専門性マッチングシステムを採用：各PIおよび申請書に、最大5つの科学的キーワードを用いて知識ベクトルを割り当て、マッチスコアは0（完全に重複なし）から2（完全一致）の範囲で定義。
• 独自開発のアルゴリズム、proposal_distributorを用いて、マッチスコア、レビュアーの容量（1人あたり10件のレビュー）、および利害対立回避（例：機関の関係）を考慮して申請書をレビュアーに割り当てる。
• DPRの採点を、パネルの採点の平均と標準偏差に正規化することで、公平な順位付けを確保。
• PIがレビュアーのコメントの有用性について自発的にフィードバックを提供し、採択済みと拒否済みの申請書に分けて収集。
• DPR、ランダム割り当て、および理想化された漸近的最適値の3つの状況におけるマッチスコア分布を比較し、アルゴリズムのパフォーマンスを評価。

実験結果

リサーチクエスチョン

• RQ1 DPRシステムは、従来の専門家パネルレビューと統計的に区別できない採点結果を生み出すか？
• RQ2 キーワードベースの専門性マッチングアルゴリズムは、申請書に適切な科学的背景を持つレビュアーを効果的に割り当てられるか？
• RQ3 特に拒否された申請書において、DPRレビュアーからのフィードバックは、専門家パネルのフィードバックよりも有用性が高いか？
• RQ4 自己評価された専門性レベルとアルゴリズムで算出されたマッチスコアとの間に、体系的なバイアスがあるか？
• RQ5 DPRは、パネルの負荷を軽減しながらも、高品質な評価を維持し、フィードバック品質を向上させることができるか？

主な発見

• DPRシステムはP110で435件、P111で417件の申請書を正常に評価した。提出は100％でタイムリーであり、技術的問題は報告されなかった。
• DPRの平均マッチスコア（6085.65）は、ランダム割り当て（1875.15）の3倍以上高く、専門性の適切な一致を示している。
• DPRのマッチスコア分布は高い値にピークを示し、効果的な割り当てがなされていることが明らかになった。理論的漸近的最適値に対してわずか1.05倍の差にとどまり、非常に高い性能を示している。
• PIはDPRのフィードバックに対して、パネルのフィードバックよりも著しく高い満足度を示した。特に拒否された申請書では、60％のDPRコメントが「ほとんど」または「完全に」有用であると評価されたが、パネルコメントではその割合はたったの30％にとどまった。
• 自己評価された専門性レベルはマッチスコアと正の相関を示したが、乖離も見られた。一部のレビュアーは、キーワードが完全一致しているにもかかわらず「専門外」と自己評価しており、自己評価バイアスの可能性が示唆された。
• 本システムにより、パネルの負荷が2倍に軽減された。16時間以上の申請書はDPRにルーティングされ、パネルは観測時間の約80％を制御し続けた。