[論文レビュー] Incentives, Quality, and Risks: A Look Into the NSF Proposal Review Pilot

Parinaz Naghizadeh, Mingyan Liu|arXiv (Cornell University)|Jul 24, 2013

scientometrics and bibliometrics research参考文献 4被引用数 11

ひとこと要約

本論文は、提案者同士がお互いの申請書をレビューするNSFのパイロット分散型査読制度を評価している。資金獲得の可能性は、申請書の質と査読の質の両方に結びつけられている。この制度は誠実な査読を奨励するが、ボーダー集計方式の特性と不十分な共謀抑止力のため、対立の少ない平凡な申請書に有利になるリスクをはらんでいる。

ABSTRACT

The National Science Foundation (NSF) will be experimenting with a new distributed approach to reviewing proposals, whereby a group of principal investigators (PIs) or proposers in a subfield act as reviewers for the proposals submitted by the same set of PIs. To encourage honesty, PIs' chances for getting funded are tied to the quality of their reviews (with respect to the reviews provided by the entire group), in addition to the quality of their proposals. Intuitively, this approach can more fairly distribute the review workload, discourage frivolous proposal submission, and encourage high quality reviews. On the other hand, this method has already raised concerns about the integrity of the process and the possibility of strategic manipulation. In this paper, we take a closer look at three specific issues in an attempt to gain a better understanding of the strengths and limitations of the new process beyond first impressions and anecdotal evidence. We start by considering the benefits and drawbacks of bundling the quality of PIs' reviews with the scientific merit of their proposals. We then consider the issue of collusion and favoritism. Finally, we examine whether the new process puts controversial proposals at a disadvantage. We conclude that some benefits of using review quality as an incentive mechanism may outweigh its drawbacks. On the other hand, even a coalition of two PIs can cause significant harm to the process, as the built-in incentives are not strong enough to deter collusion. While we also confirm the common suspicion that the process is skewed toward non-controversial proposals, the more unexpected finding is that among equally controversial proposals, those of lower quality get a leg up through this process. Thus the process not only favors non-controversial proposals, but in some sense, mediocrity. We also discuss possible ways to improve this review process.

研究の動機と目的

• 提案資金獲得を科学的妥当性と査読の質の両方に結びつけるNSFのパイロット分散型査読制度の評価を目的とする。
• 査読の質を申請評価に組み込むことで、公平性と査読の質が向上し、戦略的操作が最小限に抑えられるかどうかを調査する。
• この制度が共謀、好意的扱い、および予想外の高リスク申請書に対するバイアスに対して、どの程度脆弱であるかを評価する。
• 査読の整合性と公平性を損なう可能性のあるインcentiveメカニズムの設計上の欠陥を特定する。
• より良い対策として、強化された利害対立リストの事前設定、予想外の申請書のための専門家パネル、およびスコアリングルールの見直しを提案する。

提案手法

• ゲーム理論的フレームワークを用いて、NSF査読パイロットのインcentive構造をモデル化し、真実を述べることが安定な均衡となるかを分析する。
• ボーダー集計に基づく順位付けを用いて、Peer査読を統合し、グループの評価と一致する度合いに応じて査読者にボーナスポイントを付与する。
• 共謀シナリオや予想外の申請書群を含むさまざまな条件下での査読結果をシミュレーションする。
• 査読者割り当てパターンがボーナスポイント配分および申請書順位に与える影響を分析する。
• 事前割り当てされた利害対立リストの導入、相互査読の制限、および高リスク申請書のための専門家パネルの導入といった修正を提案する。
• 今後の作業量や申請資格のための査読の質を基準とする代替インcentiveメカニズムを評価する。

実験結果

リサーチクエスチョン

• RQ1 査読の質に資金獲得を結びつけることで、誠実で高品質な査読を行う十分なインセンティブが生まれるか？
• RQ2 2名以上のPIが共謀することで、査読プロセスの整合性がどの程度損なわれるか？
• RQ3 ボーダー集計方式は、対立の少ない申請書と比較して、予想外の申請書の順位にどのような影響を与えるか？
• RQ4 なぜ低品質な予想外の申請書が、この制度下で相対的に優位な立場を獲得するのか？
• RQ5 革新性や高リスク性を有する申請書に対するバイアスを軽減するための設計上の変更は何か？公平性を損なわずに行えるか？

主な発見

• 査読の質に基づくインセンティブメカニズムは誠実さを促進するが、共謀を完全に抑止できるほど強くはなく、2名のPIが連携すれば結果を著しく歪められる。
• この制度は、予想外の申請書に対して体系的に不利である。予想外の申請書の査読者たちは、査読者間の合意が得にくいため、ボーナスポイントが低くなる。
• 同程度の予想外の申請書の中では、低品質な申請書が有利になる。これは、少数の一致する査読者グループが一貫して高い評価を与える可能性が高いためである。
• この制度は、対立を避けることによって、中程度の科学的妥当性を持つが平凡な申請書を好む傾向を助長しており、結果として平凡さが助長される。
• 予想外の申請書の査読者たちは、自身の資金獲得の機会だけでなく、合意が得にくいため、ボーナスポイントの質にも悪影響を及える。
• 専門家パネルによる高リスク申請書の査読、事前に作成された利害対立リストの導入、匿名化されたコメント共有を伴う延長された査読期間といった解決策により、公平性を回復し、操作を検出できるようになる。