[論文レビュー] The effect of novelty on the future impact of scientific grants

Han Zhuang, Daniel E. Acuña|arXiv (Cornell University)|Nov 7, 2019

scientometrics and bibliometrics research参考文献 34被引用数 5

ひとこと要約

本研究では、2008年から2016年までの期間にかけて、170,000件のNSFおよびNIH助成金から得られた920,000件の出版物を機械学習を用いて分析し、助成金の資金提供時における新規性を定量化し、それが引用影響度とどのように関連するかを検証した。結果として、完全に新規性のある助成金は、完全に段階的な助成金と比較して、約2倍の引用数を記録することが判明した。これは、主査研究者の経験、助成金額、出版年、ジャーナルの評価、研究チームの規模を制御した後でも同様に成り立つ。この結果は、助成機関が研究資金配分において新規性を重視する方針を取る根拠を強く裏付けている。

ABSTRACT

Government funding agencies and foundations tend to perceive novelty as necessary for scientific impact and hence prefer to fund novel instead of incremental projects. Evidence linking novelty and the eventual impact of a grant is surprisingly scarce, however. Here, we examine this link by analyzing 920,000 publications funded by 170,000 grants from the National Science Foundation (NSF) and the National Institutes of Health (NIH) between 2008 and 2016. We use machine learning to quantify grant novelty at the time of funding and relate that measure to the citation dynamics of these publications. Our results show that grant novelty leads to robust increases in citations while controlling for the principal investigator's grant experience, award amount, year of publication, prestige of the journal, and team size. All else held constant, an article resulting from a fully-novel grant would on average double the citations of a fully-incremental grant. We also find that novel grants produce as many articles as incremental grants while publishing in higher prestige journals. Taken together, our results provide compelling evidence supporting NSF, NIH, and many other funding agencies' emphases on novelty.

研究の動機と目的

• 助成金の新規性と将来の科学的インパクトの関係を、引用数を指標として調査すること。
• 他の影響要因を考慮しても、資金提供された研究プロジェクトの新規性が、より高い長期的インパクトを予測できるかどうかを特定すること。
• 新規性のある助成金が、より高いジャーナル評価と高い引用数を記録する出版物を生み出すかどうかを評価すること。
• NSFやNIHなどの助成機関が新規研究を段階的改善よりも優先する方針を支持する、実証的証拠を提供すること。

提案手法

• 機械学習モデルを用いて、研究目的および範囲のテキスト的特徴に基づき、資金提供時における助成金提案の新規性を定量化した。
• 自然言語処理（NLP）技術を用いて助成金の要約およびプロジェクト記述に適用し、既存の研究からの意味的乖離を捉えた。
• 出版後5〜8年間の期間にわたって、助成金から生じたすべての出版物の引用数を収集し、長期的インパクトを評価した。
• 主査研究者の経験、助成金額、出版年、ジャーナル評価、研究チームの規模などの交絡要因を制御しながら、新規性が引用数に与える影響を分離するため、多変量回帰モデルを用いた。
• 分析対象は、NSFおよびNIHの助成金から得られた170,000件の助成金から生じた920,000件の出版物であり、期間は2008年から2016年までをカバーした。

実験結果

リサーチクエスチョン

• RQ1 主査研究者の経験、助成金額、出版年、ジャーナル評価、研究チームの規模などの主な交絡要因を制御した後でも、助成金の新規性が引用インパクトを有意に予測できるか？
• RQ2 新規性のある助成金から生じた出版物の引用パフォーマンスは、段階的助成金から生じたものと比べてどのように異なるか？
• RQ3 新規性のある助成金は、段階的助成金と比較して、より評価の高いジャーナルに出版されるか？
• RQ4 新規性のある助成金と段階的助成金から生じる出版物の数に、測定可能な差があるか？

主な発見

• 他の要因が同一である限り、完全に新規性のある助成金から生じた論文は、完全に段階的な助成金から生じた論文と比較して、約2倍の引用数を記録する。
• 主査研究者の経験、助成金額、出版年、ジャーナル評価、研究チームの規模を制御した後でも、新規性が引用インパクトに与える肯定的影響は、依然として強く保たれる。
• 新規性のある助成金は段階的助成金と同等の出版物数を生み出すため、出力量に妥協が生じない。
• 新規性のある助成金から生じた出版物は、より評価の高いジャーナルに掲載されており、可視性および質の向上を示唆している。
• 本研究の結果は、NSF や NIH のような助成機関が新規研究を段階的改善よりも優先する方針を取る根拠を強く裏付けている。