[論文レビュー] Collective allocation of science funding: from funding agencies to scientific agency

Johan Bollen, David Crandall+3 more|arXiv (Cornell University)|Apr 3, 2013

scientometrics and bibliometrics research参考文献 11被引用数 4

ひとこと要約

本稿では、科学者が等しい基本助成金を受け取り、毎年、引用ネットワークに基づいて同僚に固定割合を配分する分散型資金調達モデルを提案する。3700万件の論文を用いた大規模なシミュレーションにより、このシステムはNIH/NSFと同等の資金配分を実現するとともに、運用コストを低減し、公平性と柔軟性を向上させることを示している。

ABSTRACT

Public agencies like the U.S. National Science Foundation (NSF) and the National Institutes of Health (NIH) award tens of billions of dollars in annual science funding. How can this money be distributed as efficiently as possible to best promote scientific innovation and productivity? The present system relies primarily on peer review of project proposals. In 2010 alone, NSF convened more than 15,000 scientists to review 55,542 proposals. Although considered the scientific gold standard, peer review requires significant overhead costs, and may be subject to biases, inconsistencies, and oversights. We investigate a class of funding models in which all participants receive an equal portion of yearly funding, but are then required to anonymously donate a fraction of their funding to peers. The funding thus flows from one participant to the next, each acting as if he or she were a funding agency themselves. Here we show through a simulation conducted over large-scale citation data (37M articles, 770M citations) that such a distributed system for science may yield funding patterns similar to existing NIH and NSF distributions, but may do so at much lower overhead while exhibiting a range of other desirable features. Self-correcting mechanisms in scientific peer evaluation can yield an efficient and fair distribution of funding. The proposed model can be applied in many situations in which top-down or bottom-up allocation of public resources is either impractical or undesirable, e.g. public investments, distribution chains, and shared resource management.

研究の動機と目的

• 従来の科学資金調達における査読の非効率性やバイアスを是正するため、高い運用コストを伴い、一貫性や公平性に欠けることがある。
• 中央集権的なゲートキーピングなしに、集団的な科学的判断を活用する自己是正的で分散型の資金調達メカニズムを設計する。
• 引用ベースで匿名の寄付を行うシステムが、NIH や NSF のような実際の資金配分を再現または近似できるかどうかを評価する。
• 科学者が資金提供者としても受益者としても機能し、科学的価値の認識に基づいて資金を配分するシステムの実現可能性とパフォーマンスを評価する。
• このようなシステムが、科学的優先順位の変化に動的に適応し、公平性と効率性を維持できるかどうかを検討する。

提案手法

• 各科学者には、等しい政府助成金に相当する固定された基本資金額（例：10万ドル）が割り当てられる。
• 毎年、科学者は自身の総資金の固定割合 F を、最近5年以内に発表した論文からの引用に基づいて他の科学者に寄付する。
• 資金の流れは再帰的システムとしてモデル化される：総資金 A_i^t = B + 前年度に他者から受け取った寄付の合計。
• 寄付は、現在の年度に発表された論文からの引用数に比例して分配され、自己引用および5年以上前の引用は除外される。
• 名前マッチング手順により、名前の表記のばらつき（イニシャルや省略形の差異）をサブネームヒューリスティクスを用いて統合する。
• FundRankアルゴリズムは、1992年から2010年の引用データを用いて、867,872人の科学者を対象に資金流れをシミュレートする年次資金サイクルを再現する。

実験結果

リサーチクエスチョン

• RQ1 分散型で引用に基づく資金調達システムは、NIH や NSF のような既存の機関と同等の資金配分を達成できるか？
• RQ2 従来の査読と比較して、行政的運用コストを低減しつつ、公平性と効率性を維持できるか？
• RQ3 科学的優先順位の変化や引用パターンの変化に応じて、資金配分は時間経過とともにどのように変化するか？
• RQ4 集団的査定における自己是正メカニズムが、安定的で公平的かつ生産的な資金配分をもたらす程度はどの程度か？
• RQ5 科学者が仲間の評価に基づいて資金を受給・分配するシステムは、トップダウン型またはランダム配分モデルを上回るパフォーマンスを示せるか？

主な発見

• 3700万件の論文と7億7000万件の引用を用いたシミュレーションにより、実際のNIHおよびNSFの資金配分と類似した資金配分が得られ、モデルの現実性が裏付けられた。
• このシステムは、助成申請や中央集権的査定委員会の必要性を排除することで、従来の査読と比較して顕著に低い運用コストを達成した。
• 高い引用数を記録した科学者（科学的インパクトが顕著な者）は、コミュニティ内で認められた価値を反映して、顕著に多くの資金を受け取った。
• 引用パターンの変化に伴い、資金の流れは科学的トレンドの変化に動的に適応し、研究優先順位の変化に応じた柔軟性を示した。
• すべての参加者に最低資金額を保証することで、公平性を維持した一方で、高インパクト研究者への寄付による資金の拡大も実現した。
• 名前マッチングを経て、FundRankシミュレーションとNIH/NSFデータセットの両方に登録された科学者は65,610名にのぼり、資金配分結果の直接比較が可能になった。