[論文レビュー] Impact of Declining Proposal Success Rates on Scientific Productivity

Priscilla Cushman, Hoeksema, J. Todd+5 more|arXiv (Cornell University)|Oct 4, 2015

Health and Medical Research Impacts被引用数 5

ひとこと要約

このホワイトペーパーは、特に天文学および宇宙物理学分野における助成申請の採択率の低下を分析し、申請の質が安定しているにもかかわらず、研究予算が横ばいまたは減少していること、研究者数が増加していることと関連していると結論づけている。研究者が採択されなかったが優れた申請書を繰り返し提出する傾向が、作業負荷を増大させていると指摘し、科学的生産性を維持するとともに研究者および機関の管理的負担を軽減する観点から、30–35%の採択率を最適と提案している。

ABSTRACT

Over the last decade proposal success rates in the fundamental sciences have dropped significantly. Astronomy and related fields funded by NASA and NSF are no exception. Data across agencies show that this is not principally the result of a decline in proposal merit (the proportion of proposals receiving high rankings is largely unchanged), nor of a shift in proposer demographics (seniority, gender, and institutional affiliation have all remained unchanged), nor of an increase (beyond inflation) in the average requested funding per proposal, nor of an increase in the number of proposals per investigator in any one year. Rather, the statistics are consistent with a scenario in which agency budgets for competed research are flat or decreasing in inflation-adjusted dollars, the overall population of investigators has grown, and a larger proportion of these investigators are resubmitting meritorious but unfunded proposals. This White Paper presents statistics which support this conclusion, as well as recent research on the time cost of proposal writing versus that of producing publishable results. We conclude that an aspirational proposal success rate of 30-35% would still provide a healthily competitive environment for researchers, would more fully utilize the scientific capacity of the community's facilities and missions, and provide relief to the funding agencies who face the logistics of ever-increasing volumes of proposals.

研究の動機と目的

• 基礎科学分野における助成申請の採択率低下の根本的要因を調査すること。
• 採択率の低下が科学的生産性および研究者の作業負荷に与える影響を評価すること。
• 増加する研究者数と再申請率を踏まえた場合、現在の助成トレンドが持続可能かどうかを評価すること。
• 競争性と科学的能力の効率的活用のバランスを取るために、30–35%の採択率を最適な目標とすること。
• 助成政策の立案を支援するため、申請作成に要する時間と研究の成果との関係を分析すること。

提案手法

• NASA や NSF などを含む複数の助成機関における申請採択率の傾向分析。
• 採択率の低下が品質の低下に起因するかどうかを判断するため、申請の評価得点の検証。
• 研究者の経歴、性別、所属機関などの人口統計的要因の評価により、申請者のプロファイルの変化を除外する。
• 助成申請の金額と研究者1人あたりの申請件数の評価により、物価上昇や作業負荷の増加が主な原因でないことを確認。
• 申請作成に要する時間と、発表可能な研究結果を生み出すために要する時間の比較。
• 優れたが採択されなかった申請書の再申請傾向の統計的トレンドを用いて、財政的制約を推測する。

実験結果

リサーチクエスチョン

• RQ1 基礎科学分野における申請採択率の低下を引き起こす主な要因は何か？
• RQ2 査読得点で測定した場合、提出された申請書の質は時間経過とともに低下しているか？
• RQ3 過去10年間で、研究者の経歴、性別、所属機関はどのように変化したか？
• RQ4 申請作成に要する時間と、実際の科学的生産性の間にはどのような関係があるか？
• RQ5 競争性、科学的生産性、管理的効率のバランスを最適化するには、どの程度の採択率が適切か？

主な発見

• 採択率の低下は、優れた申請書が常に高い評価を得続けていることから、申請の質の低下とは無関係である。
• 過去10年間で、申請者の経歴、性別、所属機関に顕著な変化は見られない。
• 1件あたりの平均助成申請額はインフレーションを超えて上昇していないため、物価上昇が原因とは言えない。
• 1人あたりの研究者1年間の申請件数に顕著な増加は見られない。
• 優れた申請書の多くが再申請されていることは、品質の低下ではなく財政的制約の兆候である。
• 競争性を維持するとともに管理的負担を軽減し、科学的生産性を最大化する観点から、30–35%の採択率を最適と提案する。