[論文レビュー] Past Performance as Predictor of Successful Grant Applications: A Case Study

Peter van den Besselaar, Loet Leydesdorff|ArXiv.org|Nov 16, 2009

scientometrics and bibliometrics research参考文献 4被引用数 8

ひとこと要約

本研究は、オランダの研究助成金制度を事例として、過去の研究実績が競争的助成金獲得成功を予測できるかを調査する。過去の実績は助成金獲得成功の強力な予測要因であるが、ピアレビューの結果は一貫して客観的実績指標と一致せず、性別や専門分野といった要因も助成金結果に影響を及ぼすことが判明した。

ABSTRACT

Competitive allocation of research funding is a major mechanism within the science system. It is fundamentally based on the idea of peer review. Peer review is central in project selection as peers are considered to be in a unique position to identify and select the best and most innovative researchers and research projects. In this study, we assess the practice of peer-review based project selection. The basic question is "do the best researchers get the funding"? In other words, do peer review based quality indicators predict success in receiving funding? The next question to be answered is about the peer review. Do peer reviewers indeed recognize the best researchers, and subsequently, is the decision of the research council based on the outcomes of peer review? Finally, we answer the question whether other factors influence the probability of receiving funding, such as the role of co-applicants, the effects of gender, and the effect of the discipline of the application.

研究の動機と目的

• 過去の研究実績が、競争的助成金獲得成功を信頼性を持って予測できるかどうかを評価すること。
• ピアレビューが、客観的指標に基づいて優れた研究者を的確に特定・評価できるかどうかを評価すること。
• 性別、共同申請者、専門分野といった実績以外の要因が、助成金獲得結果に与える影響を調査すること。
• 研究理事会の助成金決定が、主にピアレビューの結果に基づいているのか、それとも他の外部要因に影響を受けるのかを特定すること。
• 現実の研究助成制度において、客観的実績指標と実際の助成金配分の整合性を分析すること。

提案手法

• オランダの研究助成理事会の助成申請データセットを分析し、論文発表数や引用インパクトなどの実績指標を含む。
• 統計的モデリングを用いて、過去の実績指標と助成金獲得成功率の相関を分析する。
• ピアレビュー評点と客観的実績指標を比較し、一貫性と予測妥当性を評価する。
• 多変量回帰分析を用いて、性別、専門分野、共同申請者状態、実績が助成金獲得結果に与える影響を分離する。
• 1つの助成金サイクルに焦点を当てたケーススタディ法を採用し、個々の申請書の詳細な分析を可能にする。
• 感度分析を実施し、ピアレビュー意思決定と客観的実績ランク付けの比較を通じて、結果の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 過去の研究実績は、競争的助成金獲得成功をどの程度予測できるか？
• RQ2 ピアレビューは、客観的実績指標に基づいて、最も生産的でインパクトのある研究者を的確に特定・順位付けできるか？
• RQ3 性別、専門分野、共同申請者状態といった要因が、実績指標を超えて助成金獲得確率に与える影響は何か？
• RQ4 研究理事会の助成金決定は、ピアレビューの結果とどの程度整合しているか、それとも他の制度的・構造的要因に影響を受けるか？
• RQ5 ピアレビュー助成制度において、客観的実績と助成金配分の間に体系的な不一致が存在するか？

主な発見

• 論文発表数や引用インパクトといった過去の研究実績は、助成金獲得成功の強力で統計的に有意な予測要因である。
• ピアレビュー評点は、客観的実績指標と僅かに中程度の相関を示しており、優れた研究者を一貫して特定できていないことが示唆される。
• 性能指標を補正した後でも、女性申請者は男性申請者に比べて助成金獲得確率が顕著に低い。
• 専門分野の違いが助成金獲得結果に顕著に影響を及ぼしており、性能に関係なく特定の分野では著しく高い成功率が見られる。
• 著名な共同申請者がいる場合、助成金獲得成功が高まるため、機関の評判やネットワークが個人の実績を超えて影響を及えることが示唆される。
• 研究理事会の助成金決定はピアレビューの結果と部分的にしか一致せず、最終意思決定に実績以外の要因が影響している可能性が示唆される。