[論文レビュー] The Leiden Ranking 2011/2012: Data collection, indicators, and interpretation

Ludo Waltman, Clara Calero‐Medina+8 more|arXiv (Cornell University)|Feb 17, 2012

Education, Management, Technology, Human Resources被引用数 5

ひとこと要約

本論文は、41カ国にまたがる500の機関を対象とした、共同出版物の分数割り当て、高被引用論文数、非英語論文の除外、安定性区間といった改善された指標を用いた、2011/2012年のライデンランキングを提示する。研究実績評価における公平性と解釈可能性を高めるための方法論的革新を導入し、上海ランキングやタイムズハイヤーエデュケーションランキングといった主要ランキングの透明性の高い代替手段を提供する。

ABSTRACT

The Leiden Ranking 2011/2012 is a ranking of universities based on bibliometric indicators of publication output, citation impact, and scientific collaboration. The ranking includes 500 major universities from 41 different countries. This paper provides an extensive discussion of the Leiden Ranking 2011/2012. The ranking is compared with other global university rankings, in particular the Academic Ranking of World Universities (commonly known as the Shanghai Ranking) and the Times Higher Education World University Rankings. Also, a detailed description is offered of the data collection methodology of the Leiden Ranking 2011/2012 and of the indicators used in the ranking. Various innovations in the Leiden Ranking 2011/2012 are presented. These innovations include (1) an indicator based on counting a university's highly cited publications, (2) indicators based on fractional rather than full counting of collaborative publications, (3) the possibility of excluding non-English language publications, and (4) the use of stability intervals. Finally, some comments are made on the interpretation of the ranking, and a number of limitations of the ranking are pointed out.

研究の動機と目的

• 出版物の出力、引用インパクト、共同研究に基づく、国際的な大学の透明性と方法論的に堅牢な文献計測的ランク付けを開発すること。
• 既存の大学ランク付けの限界を是正し、公平性と正確性を高める新しい指標を導入して、実績評価の質を向上させること。
• 研究機関や国をまたいで研究実績を評価するための、データドリブンで再現可能なフレームワークを提供すること。
• 安定性区間と言語別フィルタリングを用いることで、研究者や機関が文献計測指標をより確信をもって解釈できるようにすること。
• ライデンランキングを上海ランクとタイムズハイヤーエデュケーション世界大学ランクと比較し、方法論的差異を明らかにすること。

提案手法

• 2008年から2010年の間の出版物を対象として、ウェブ・オブ・サイエンスデータベースからのデータ収集。500の主要大学をカバー。
• 共同出版物の信用を関与機関間で分配するための分数割り当ての適用。これにより、大規模な国際的共同研究によるバイアスを低減。
• 分野および出版年次で上位10%の引用数を記録する論文の数を測定する新しい指標の導入。
• 引用インパクト指標の信頼性を評価するための安定性区間の導入。これは、引用データが限られていることによる不確実性を反映する。
• 言語特有の引用習慣によるバイアスを低減するため、非英語論文の除外オプションを導入。
• 分野正規化された引用インパクトスコアの使用により、科学的分野をまたいで機関間の比較が可能になる。

実験結果

リサーチクエスチョン

• RQ1 どのようにして文献計測指標を改善することで、大学間の研究実績比較の公平性を高められるか？
• RQ2 分数割り当てと非英語論文の除外が、機関ランクにどの程度の影響を及えるか？
• RQ3 安定性区間は、大学ランクにおける引用インパクト指標の解釈可能性をどのように向上させるか？
• RQ4 ライデンランキングは、上海ランクとタイムズハイヤーエデュケーション世界大学ランクと比較して、方法論的および結果的にどのよう differ するか？
• RQ5 ライデンランキング2011/2012が、以前の文献計測的ランク付けと異なる主な方法論的革新は何か？

主な発見

• ライデンランキング2011/2012は、41カ国にまたがる500の大学を含み、研究実績の包括的なグローバルな概要を提供している。
• 分數割り当ては、大規模な国際的共同研究を持つ機関の優位性を顕著に低減し、より公平な比較を可能にする。
• 高被引用論文数の導入により、平均引用インパクトを超えた研究優位性のより洗練された測定が可能になる。
• 安定性区間は、中小規模の機関における引用インパクト指標の信頼性が低いことを明らかにし、不確実性の評価の重要性を強調する。
• 非英語論文の除外は、特に英語圏外の国に所在する機関に顕著なランクの変動をもたらす。
• このランク付けは、カウント方法や言語フィルタリングといった方法論的選択が、機関の順位に顕著な影響を及えることを示しており、透明性の重要性を強調している。