[논문 리뷰] The effect of novelty on the future impact of scientific grants

Han Zhuang, Daniel E. Acuña|arXiv (Cornell University)|2019. 11. 07.

scientometrics and bibliometrics research참고 문헌 34인용 수 5

한 줄 요약

이 연구는 2008–2016년 기간 동안 170,000개의 NSF 및 NIH 보조금을 대상으로 920,000篇의 논문을 기계학습을 통해 자금 지원 시점의 보조금 신선도를 정량화하고, 이와 인용 영향력 간의 연관성을 분석한다. 결과적으로, 완전히 새로운 보조금은 완전히 누적적인 보조금보다 약 두 배의 인용을 얻는다. 이는 주된 연구자 경험, 수여 금액, 논문 발표 연도, 저널의 명성, 팀 규모 등을 통제한 후에도 동일하게 유지되며, 자금 지원 기관이 연구의 창의성에 중점을 두는 데 대한 강력한 실증적 근거를 제공한다.

ABSTRACT

Government funding agencies and foundations tend to perceive novelty as necessary for scientific impact and hence prefer to fund novel instead of incremental projects. Evidence linking novelty and the eventual impact of a grant is surprisingly scarce, however. Here, we examine this link by analyzing 920,000 publications funded by 170,000 grants from the National Science Foundation (NSF) and the National Institutes of Health (NIH) between 2008 and 2016. We use machine learning to quantify grant novelty at the time of funding and relate that measure to the citation dynamics of these publications. Our results show that grant novelty leads to robust increases in citations while controlling for the principal investigator's grant experience, award amount, year of publication, prestige of the journal, and team size. All else held constant, an article resulting from a fully-novel grant would on average double the citations of a fully-incremental grant. We also find that novel grants produce as many articles as incremental grants while publishing in higher prestige journals. Taken together, our results provide compelling evidence supporting NSF, NIH, and many other funding agencies' emphases on novelty.

연구 동기 및 목표

• 자금 지원 시점의 보조금 창의성과 향후 과학적 영향력 간의 관계를 인용 횟수로 측정하여 조사한다.
• 기타 영향력 있는 요인들과 독립적으로 창의성이 자금 지원 연구 프로젝트의 장기적 영향력을 예측할 수 있는지 확인한다.
• 창의적인 보조금이 더 영향력 있는 논문을 생성하는지, 즉 더 높은 저널 명성과 더 많은 인용 획득을 이끌어내는지 평가한다.
• NSF 및 NIH와 같은 자금 지원 기관이 창의적 연구보다 누적적 연구를 우선시하는 정책에 대한 실증적 근거를 제공한다.

제안 방법

• 기계학습 모델을 활용해 연구 목표 및 범위의 텍스트적 특징을 바탕으로 자금 지원 시점의 보조금 창의성을 정량화하였다.
• 보조금 摘要와 프로젝트 기술서에 적용된 자연어 처리(NLP) 기법을 통해 기존 연구와의 의미적 이질성을 측정하여 창의성을 평가하였다.
• 논문의 장기적 영향력을 평가하기 위해 자금 지원 후 5–8년 간의 기간 동안 모든 보조금에서 유래한 논문의 인용 횟수를 수집하였다.
• 다변량 회귀 모델을 사용하여 주된 연구자 경험, 수여 금액, 논문 발표 연도, 저널 명성, 팀 규모 등의 혼동 변수를 통제하면서 창의성의 영향을 분리하였다.
• 분석 대상은 2008–2016년 기간 동안 NSF 및 NIH에서 지원한 170,000개의 보조금에서 유래한 920,000편의 논문을 포함한다.

실험 결과

연구 질문

• RQ1 기본적인 혼동 요인들을 통제한 후, 보조금 창의성이 향후 인용 영향력에 유의미하게 기여하는가?
• RQ2 창의적인 보조금에서 유래한 논문의 인용 성과는 누적적인 보조금에서 유래한 논문과 비교하여 어떻게 다른가?
• RQ3 창의적인 보조금은 누적적인 보조금보다 더 높은 명성의 저널에 논문을 게재하는가?
• RQ4 창의적 보조금과 누적적 보조금 간에 발표된 논문 수에 유의미한 차이가 존재하는가?

주요 결과

• 기타 모든 요인을 동일하게 유지할 경우, 완전히 새로운 보조금에서 유래한 논문은 완전히 누적적인 보조금에서 유래한 논문보다 약 두 배의 인용을 얻는다.
• 주요 연구자 경험, 수여 금액, 논문 발표 연도, 저널 명성, 팀 규모 등을 통제한 후에도 창의성의 인용 영향력에 대한 긍정적 효과는 여전히 강력하게 유지된다.
• 창의적인 보조금은 누적적인 보조금과 동일한 수준의 논문 수를 생성하므로, 생산량 측면에서의 상충 관계가 없다.
• 창의적인 보조금에서 유래한 논문은 더 높은 명성의 저널에 게재되며, 이는 더 높은 가시성과 품질을 의미한다.
• 이 결과들은 NSF 및 NIH와 같은 자금 지원 기관이 창의적 연구를 우선시하는 정책에 대한 강력한 실증적 근거를 제공한다.