[논문 리뷰] Past Performance as Predictor of Successful Grant Applications: A Case Study

Peter van den Besselaar, Loet Leydesdorff|ArXiv.org|2009. 11. 16.

scientometrics and bibliometrics research참고 문헌 4인용 수 8

한 줄 요약

이 연구는 네덜란드 연구 자금 지원 사례를 통해 과거 연구 성과가 경쟁적 연구 보조금 획득 성공을 예측할 수 있는지 조사한다. 과거 성과는 자금 지원 성공을 강력하게 예측하지만, 동료 평가 결과는 객관적 성과 지표와 일관되게 일치하지 않으며, 성별 및 분야와 같은 요소들도 자금 지원 결과에 영향을 미친다.

ABSTRACT

Competitive allocation of research funding is a major mechanism within the science system. It is fundamentally based on the idea of peer review. Peer review is central in project selection as peers are considered to be in a unique position to identify and select the best and most innovative researchers and research projects. In this study, we assess the practice of peer-review based project selection. The basic question is "do the best researchers get the funding"? In other words, do peer review based quality indicators predict success in receiving funding? The next question to be answered is about the peer review. Do peer reviewers indeed recognize the best researchers, and subsequently, is the decision of the research council based on the outcomes of peer review? Finally, we answer the question whether other factors influence the probability of receiving funding, such as the role of co-applicants, the effects of gender, and the effect of the discipline of the application.

연구 동기 및 목표

• 과거 연구 성과가 경쟁적 보조금 자금 지원 성공을 신뢰성 있게 예측할 수 있는지 평가하기.
• 동료 평가자가 객관적 지표를 바탕으로 높은 성과를 내는 연구자를 정확히 식별할 수 있는지 평가하기.
• 성과 외 요인—성별, 공동 지원자, 분야—이 자금 지원 결과에 미치는 영향을 조사하기.
• 연구위원회 자금 지원 결정이 주로 동료 평가 결과에 기반하는지, 아니면 기타 외부 요인에 기반하는지 규명하기.
• 실제 연구 자금 지원 체계에서 객관적 성과 지표와 실제 자금 배분 간의 일치 여부를 분석하기.

제안 방법

• 출판 성과 및 인용 영향도와 같은 성과 지표를 포함한 네덜란드 연구 자금 지원 위원회에서의 보조금 지원 신청서 데이터셋 분석.
• 과거 성과 지표와 자금 지원 성공률 간의 상관관계를 분석하기 위해 통계 모델링 활용.
• 동료 평가 점수와 객관적 성과 지표를 비교하여 일관성과 예측 타당성 평가.
• 성별, 분야, 공동 지원자 상태, 성과 등 영향을 분리하기 위해 다변량 회귀 분석 적용.
• 개별 지원서에 대한 세심한 분석을 위해 단일 자금 지원 사이클에 초점을 맞춘 사례 연구 접근법 활용.
• 민감도 분석을 통해 결과를 검증하고, 동료 평가 결정과 객관적 성과 순위 간 비교 수행.

실험 결과

연구 질문

• RQ1 과거 연구 성과가 경쟁적 보조금 획득 성공을 어느 정도 예측할 수 있는가?
• RQ2 동료 평가자가 객관적 성과 지표를 바탕으로 가장 생산적이고 영향력 있는 연구자를 정확히 식별하고 순위를 매길 수 있는가?
• RQ3 성별, 분야, 공동 지원자 상태와 같은 요소들이 성과 지표를 초월해 자금 지원 확률에 어떻게 영향을 미치는가?
• RQ4 연구위원회의 자금 지원 결정이 동료 평가 결과와 어느 정도 일치하는가, 아니면 기타 기관적 또는 구조적 요인에 의해 영향을 받는가?
• RQ5 동료 평가 기반 보조금 제도에서 객관적 연구 성과와 자금 배분 간 체계적인 괴리가 존재하는가?

주요 결과

• 출판 성과 및 인용 영향도 측면에서 과거 연구 성과는 자금 지원 성공을 강력하고 통계적으로 유의미하게 예측하는 요소이다.
• 동료 평가 점수는 객관적 성과 지표와 중간 정도의 상관관계를 보이며, 최고 성과자 식별에 있어 일관성 부족을 시사한다.
• 성과 지표를 보정한 후에도 여성 지원자들은 남성 지원자들보다 자금 지원을 받을 가능성이 유의미하게 낮다.
• 분야 간 차이가 자금 지원 결과에 유의미하게 영향을 미치며, 일부 분야는 성과와 관계없이 상대적으로 훨씬 높은 성공률을 기록한다.
• 유명한 공동 지원자가 포함될 경우 자금 지원 성공률이 높아지며, 이는 개인 성과를 초월해 기관의 명성과 네트워크가 영향을 미친다는 것을 시사한다.
• 연구위원회의 자금 지원 결정은 동료 평가 결과와 부분적으로만 일치하며, 이는 성과 외 요소가 최종 결정에 영향을 미칠 수 있음을 시사한다.