[論文レビュー] Ranking and mapping of universities and research-focused institutions worldwide based on highly-cited papers: A visualization of results from multi-level models

Lutz Bornmann, Moritz Stefaner+2 more|arXiv (Cornell University)|Dec 3, 2012

scientometrics and bibliometrics research参考文献 40被引用数 4

ひとこと要約

本論文では、Scopusデータからのハイコールド論文を分析するためのマルチレベルモデルを用いて、世界中の大学および研究機関の順位付けと地図化を実行するウェブベースのツールを提示している。階層的モデルを適用して、機関固有の引用影響度と信頼区間を推定することで、分野や地理的側面を考慮した研究優位性の統計的に信頼性の高い比較が可能となり、中心の優位性を特定するための原始的引用数の代替手段としてより正確な手法を提供する。

ABSTRACT

The web application presented in this paper allows for an analysis to reveal centres of excellence in different fields worldwide using publication and citation data. Only specific aspects of institutional performance are taken into account and other aspects such as teaching performance or societal impact of research are not considered. Based on data gathered from Scopus, field-specific excellence can be identified in institutions where highly-cited papers have been frequently published. The web application combines both a list of institutions ordered by different indicator values and a map with circles visualizing indicator values for geocoded institutions. Compared to the mapping and ranking approaches introduced hitherto, our underlying statistics (multi-level models) are analytically oriented by allowing (1) the estimation of values for the number of excellent papers for an institution which are statistically more appropriate than the observed values; (2) the calculation of confidence intervals as measures of accuracy for the institutional citation impact; (3) the comparison of a single institution with an "average" institution in a subject area, and (4) the direct comparison of at least two institutions.

研究の動機と目的

• ハイコールド論文に基づく機関の研究優位性を統計的に厳密に評価する手法を開発すること。
• 原始的引用数の限界を是正するため、統計的モデリングを組み込むことでノイズを低減し、信頼性を向上させること。
• 標準化された指標を用いて、特定の学術分野内での機関間の直接比較を可能にすること。
• 分野別優位性を示すためのインタラクティブな地図とランク付きリストを通じて、世界の研究実績を可視化すること。
• 機関の引用影響度に95%信頼区間を提供することで、ランク付けの透明性と解釈可能性を高めること。

提案手法

• 分野および出版年による影響を補正するため、機関ごとのハイコールド論文数を推定するためのマルチレベル（階層的）モデルの適用。
• Scopusからの分野正規化済み引用データを用い、特定の分野および出版年における上位10%の引用数を有する論文を特定。
• 経験的ベイズの縮小法を用いて機関固有の引用影響度を推定し、小規模な機関による極端な値を低減。
• 各機関の推定引用影響度の95%信頼区間を計算し、推定の正確性を評価。
• 地理座標データを統合し、機関の実績レベルを表す円を含むインタラクティブな地図を作成。
• ユーザーが直接2つ以上の機関を比較でき、分野および指標ごとにランクを閲覧できるウェブアプリケーションの実装。

実験結果

リサーチクエスチョン

• RQ1 原始的引用数よりも、どのようにして機関の研究実績をより正確に測定できるか？
• RQ2 マルチレベルモデルは、大学および研究機関の引用ベースのランク付けの信頼性をどの程度向上させるか？
• RQ3 引用影響度の信頼区間は、機関の実績指標の解釈可能性を向上させるか？
• RQ4 異なるグローバル地域および専門分野において、分野正規化済み引用影響度の観点から、機関どうしがどのように比較できるか？
• RQ5 引用データを用いて、スケールに応じた研究優位性を可視化およびランク付けする最も効果的な方法は何か？

主な発見

• マルチレベルモデルは、特に発表数が少ない小規模な機関において、引用数のランダムな変動の影響を顕著に低減する。
• 機関ごとのハイコールド論文数の推定値は、特にサンプルサイズが小さい場合に、観察された原始的カウントよりも安定的かつ信頼性が高くなる。
• 信頼区間は不確実性の明確な指標を提供し、ユーザーが機関の実績ランクの信頼性を評価できる。
• 高い引用影響度を示す機関は、複数の分野にわたり一貫して特定され、明確なグローバルな研究優位性の中心が特定される。
• インタラクティブなウェブアプリケーションにより、少なくとも2つの機関を直接比較でき、根拠に基づく機関のベンチマークが可能になる。
• 地理座標データを用いた地図により、分野別優位性が効果的に可視化され、高水準の機関が集積する地域的クラスタが顕在化する。