[논문 리뷰] Collective allocation of science funding: from funding agencies to scientific agency

Johan Bollen, David Crandall외 3명|arXiv (Cornell University)|2013. 04. 03.

scientometrics and bibliometrics research참고 문헌 11인용 수 4

한 줄 요약

이 논문은 과학자들이 동일한 기본 자금을 받고 매년 인용 네트워크를 기반으로 동료 과학자들에게 고정 비율의 자금을 기부하는 탈중앙화된 자금 조달 모델을 제안한다. 이는 집단적 동료 평가를 시뮬레이션한다. 3700만 건의 논문을 대규모 시뮬레이션한 결과, 이 시스템은 NIH/NSF와 유사한 자금 배분을 만들어내며, 운영 비용을 줄이고 공정성과 적응성을 높인다.

ABSTRACT

Public agencies like the U.S. National Science Foundation (NSF) and the National Institutes of Health (NIH) award tens of billions of dollars in annual science funding. How can this money be distributed as efficiently as possible to best promote scientific innovation and productivity? The present system relies primarily on peer review of project proposals. In 2010 alone, NSF convened more than 15,000 scientists to review 55,542 proposals. Although considered the scientific gold standard, peer review requires significant overhead costs, and may be subject to biases, inconsistencies, and oversights. We investigate a class of funding models in which all participants receive an equal portion of yearly funding, but are then required to anonymously donate a fraction of their funding to peers. The funding thus flows from one participant to the next, each acting as if he or she were a funding agency themselves. Here we show through a simulation conducted over large-scale citation data (37M articles, 770M citations) that such a distributed system for science may yield funding patterns similar to existing NIH and NSF distributions, but may do so at much lower overhead while exhibiting a range of other desirable features. Self-correcting mechanisms in scientific peer evaluation can yield an efficient and fair distribution of funding. The proposed model can be applied in many situations in which top-down or bottom-up allocation of public resources is either impractical or undesirable, e.g. public investments, distribution chains, and shared resource management.

연구 동기 및 목표

• 기존 과학 자금 지원의 비효율성과 편향 문제를 해결하기 위해, 높은 운영 비용이 수반되며 일관성 없거나 공정하지 않을 수 있는 전통적 동료 평가의 문제점을 해결하고자 한다.
• 중앙 집중적 장벽 없이 집단적 과학적 판단을 활용하는 자동 보정 기능이 있는 분산형 자금 조달 메커니즘을 설계하고자 한다.
• 인용 기반 익명 기부 시스템이 NIH 및 NSF와 같은 기관의 실제 자금 배분을 재현하거나 근사할 수 있는지 평가하고자 한다.
• 과학자들이 자금 수혜자이자 기부자로서 기여도에 따라 과학적 가치를 평가해 자금을 배분하는 시스템의 실현 가능성과 성능을 평가하고자 한다.
• 이러한 시스템이 과학적 우선순위의 변화에 유연하게 대응하고 공정성과 효율성을 유지할 수 있는지 탐색하고자 한다.

제안 방법

• 모든 과학자에게 고정된 기본 자금(예: 100,000달러)이 할당되며, 이는 정부가 동일하게 배분하는 자금을 의미한다.
• 매년 과학자들은 최근 5년 이내에 발표한 논문에서 인용된 수에 비례하여 총 자금의 고정 비율 F를 다른 과학자들에게 기부한다.
• 자금 흐름은 재귀적 시스템으로 모델링되며, 총 자금 A_i^t = B + 이전 연도에 받은 기부금의 합으로 표현된다.
• 기부금은 현재 년도에 발표된 논문에서 인용된 과학자 수에 비례하여 배분되며, 자기 인용 및 5년 이상 경과된 인용은 제외된다.
• 이니셜 및 약어의 변형을 해결하기 위해 이름 매칭 절차에서 하위이름 히وري스틱 기법을 사용하여 저자 이름을 통합한다.
• FundRank 알고리즘은 1992~2010년의 인용 데이터를 사용하여 867,872명의 과학자들 사이에서 자금 흐름을 시뮬레이션하는 연간 자금 배분 사이클을 모델링한다.

실험 결과

연구 질문

• RQ1 탈중앙화된 인용 기반 자금 조달 시스템이 NIH 및 NSF와 같은 기관의 자금 배분과 유사한 결과를 낼 수 있는가?
• RQ2 기존의 동료 평가 대비 행정 비용을 줄일 수 있는가? 동시에 공정성과 효율성은 유지되는가?
• RQ3 과학적 우선순위와 인용 패턴의 변화에 따라 자금 배분이 시간이 지남에 따라 어떻게 변화하는가?
• RQ4 집단적 동료 평가에서 자동 보정 메커니즘이 안정적이고 공정하며 생산적인 자금 배분 결과를 이끌어낼 수 있는 정도는 어느 정도인가?
• RQ5 과학자들이 동료 인정에 기반해 자금을 수혜자이자 기부자로 배분하는 시스템이 상향식 또는 무작위 배분 모델보다 성능이 뛰어나다고 볼 수 있는가?

주요 결과

• 3700만 건의 논문과 7.7억 건의 인용 데이터를 사용한 시뮬레이션은 실제 NIH 및 NSF 자금 배분과 매우 유사한 자금 배분 결과를 도출하여 모델의 현실성과 타당성을 입증했다.
• 이 시스템은 제안서 제출 및 중앙 집중식 심사 위원회가 필요로 하는 전통적 동료 평가 대비 크게 낮은 운영 비용을 달성했다.
• 높은 인용 수를 기록한 과학자들—즉, 과학적 영향력이 높은 사람들은 그들의 공동체 내에서 인정받는 가치를 반영해 비례적으로 더 많은 자금을 확보했다.
• 인용 패턴의 변화에 따라 자금 흐름이 유연하게 조정되어 과학적 추세의 변화에 민감하게 반응함을 보여주었으며, 변화하는 연구 우선순위에 대한 반응성을 입증했다.
• 모든 참가자에게 기본 자금을 보장함으로써 공정성을 유지하면서도, 고성과 연구자들의 기여를 동료 기반 배분을 통해 강화함으로써 시스템의 균형을 유지했다.
• 이름 매칭 후, FundRank 시뮬레이션과 NIH/NSF 데이터셋 양쪽 모두에 65,610명의 과학자가 존재하여 자금 배분 결과를 직접 비교할 수 있었다.