[논문 리뷰] Impact of Declining Proposal Success Rates on Scientific Productivity

Priscilla Cushman, Hoeksema, J. Todd외 5명|arXiv (Cornell University)|2015. 10. 04.

Health and Medical Research Impacts인용 수 5

한 줄 요약

이 화이트페이퍼는 기본 과학 분야, 특히 천문학과 천체물리학 분야에서의 제안서 성공률 감소를 분석하며, 제안서의 우수성은 유지되고 있음에도 불구하고 연구 예산이 정체되거나 감소함에 따라 성공률이 낮아졌다고 진단한다. 이는 성공하지 못한 우수한 제안서를 반복 제출하는 것이 연구자들의 업무 부담을 증가시켰음을 시사하며, 과학적 생산성 유지를 위해 과학자들과 기관의 행정 부담을 줄이기 위해 30–35%의 성공률을 최적의 수준으로 제안한다.

ABSTRACT

Over the last decade proposal success rates in the fundamental sciences have dropped significantly. Astronomy and related fields funded by NASA and NSF are no exception. Data across agencies show that this is not principally the result of a decline in proposal merit (the proportion of proposals receiving high rankings is largely unchanged), nor of a shift in proposer demographics (seniority, gender, and institutional affiliation have all remained unchanged), nor of an increase (beyond inflation) in the average requested funding per proposal, nor of an increase in the number of proposals per investigator in any one year. Rather, the statistics are consistent with a scenario in which agency budgets for competed research are flat or decreasing in inflation-adjusted dollars, the overall population of investigators has grown, and a larger proportion of these investigators are resubmitting meritorious but unfunded proposals. This White Paper presents statistics which support this conclusion, as well as recent research on the time cost of proposal writing versus that of producing publishable results. We conclude that an aspirational proposal success rate of 30-35% would still provide a healthily competitive environment for researchers, would more fully utilize the scientific capacity of the community's facilities and missions, and provide relief to the funding agencies who face the logistics of ever-increasing volumes of proposals.

연구 동기 및 목표

• 기본 과학 분야 전반에서 과학 기금 제안서 성공률 감소의 근본 원인을 규명하는 것.
• 성공률 감소가 과학적 생산성과 연구자 업무 부담에 미치는 영향을 평가하는 것.
• 점점 증가하는 연구자 수와 재제출 비율을 고려할 때 현재의 자금 지원 추세가 지속 가능한지 평가하는 것.
• 경쟁성과 과학적 능력의 효율적 활용 사이의 균형을 유지하기 위해 30–35%의 성공률을 목표로 제안하는 것.
• 제안서 작성에 소요되는 시간과 연구 성과의 상관관계를 분석하여 자금 지원 정책에 정보를 제공하는 것.

제안 방법

• NASA 및 NSF를 포함한 여러 자금 지원 기관의 제안서 성공률 추세 분석.
• 성공률 감소가 품질 저하에서 비롯되었는지 여부를 판단하기 위해 제안서의 우수도 점수를 검토.
• 연구자 연령, 성별, 소속 기관 등의 인구통계적 요인을 분석하여 제안자 프로필의 변화 여부를 규명.
• 자금 요청 규모와 연구자당 제안서 수를 평가하여 비용 인플레이션 또는 업무 부담 증가가 주요 원인인지 여부를 검토.
• 제안서 작성에 소요되는 시간과 실제 발표 가능한 연구 성과를 도출하는 데 소요되는 시간을 비교.
• 우수하지만 자금이 배정되지 않은 제안서의 재제출 빈도 증가 추세를 분석하여 자금 제약 여부를 유추.

실험 결과

연구 질문

• RQ1 기본 과학 분야에서 제안서 성공률 감소의 주요 원인은 무엇인가?
• RQ2 제안서의 우수도가 시간이 지남에 따라 감소했는가? (평가자 평가 점수로 측정)
• RQ3 지난 10년간 연구자 인구통계, 자금 요청 규모, 연구자당 제안서 수는 어떻게 변화했는가?
• RQ4 제안서 작성에 소요되는 시간과 실제 과학적 생산성 간의 관계는 어떠한가?
• RQ5 경쟁성, 과학적 성과, 행정 효율성의 균형을 고려할 때 최적의 성공률은 얼마인가?

주요 결과

• 성공률 감소는 제안서의 우수도가 떨어졌기 때문이 아니라, 높은 평가를 받는 제안서들이 여전히 일관되게 높은 점수를 받고 있음에 따라 발생한다.
• 지난 10년간 연구자들의 연령, 성별, 소속 기관에 대한 변화는 유의미하지 않다.
• 제안서당 평균 자금 요청 규모는 인플레이션 수준을 초과하지 않아, 비용 인플레이션은 원인으로 볼 수 없다.
• 연구자당 연간 제안서 수는 유의미하게 증가하지 않았다.
• 우수한 제안서의 점점 증가하는 비율이 재제출되고 있어, 이는 품질 저하가 아니라 자금 제약을 시사한다.
• 경쟁성 유지와 함께 관리 부담 감소 및 과학적 성과 극대화를 위해 30–35%의 성공률을 최적의 목표로 제안한다.