[論文レビュー] The use of percentiles and percentile rank classes in the analysis of bibliometric data: Opportunities and limits

Lutz Bornmann, Loet Leydesdorff+1 more|arXiv (Cornell University)|Nov 2, 2012

scientometrics and bibliometrics research参考文献 23被引用数 4

ひとこと要約

本稿は、偏った被引用データにおけるbibliometric分析におけるパーセンタイルおよびパーセンタイルランククラスの使用を検討し、平均ベースの指標よりも優位な点を強調している。パーセンタイル計算およびランク割り当てにおける主要な課題を特定し、研究間の比較可能性を確保するための標準化された手法の必要性を強調している。

ABSTRACT

Percentiles have been established in bibliometrics as an important alternative to mean-based indicators for obtaining a normalized citation impact of publications. Percentiles have a number of advantages over standard bibliometric indicators used frequently: for example, their calculation is not based on the arithmetic mean which should not be used for skewed bibliometric data. This study describes the opportunities and limits and the advantages and disadvantages of using percentiles in bibliometrics. We also address problems in the calculation of percentiles and percentile rank classes for which there is not (yet) a satisfactory solution. It will be hard to compare the results of different percentile-based studies with each other unless it is clear that the studies were done with the same choices for percentile calculation and rank assignment.

研究の動機と目的

• パーセンタイルベースの指標がbibliometric分析における従来の平均ベースの指標よりも優れている点を評価すること。
• citationデータのパーセンタイル計算およびパーセンタイルランククラスの割り当てにおけるメソドロジカルな課題を特定すること。
• 研究間の比較を妨げるパーセンタイル計算およびランク割り当ての不整合を是正すること。
• 正規化された被引用インパクト評価におけるパーセンタイルの使用における透明性および標準化を促進すること。
• 研究者がパーセンタイルベースのbibliometric指標を適切に適用するためのベストプラクティスに関するガイダンスを提供すること。

提案手法

• シミュレーションおよび実証データを用いて、citation分析におけるパーセンタイルベースの指標と平均ベースの指標を比較する。
• 異なるパーセンタイル計算手法が得られるランク割り当てに与える影響を分析する。
• bibliometricsで一般的な偏ったcitation分布におけるパーセンタイルの統計的性質を検討する。
• データの特性に基づいて適切なパーセンタイル計算技術を選択するための基準を提言する。
• 一貫性のあるランク割り当て手法の重要性を強調し、研究間比較を可能にする。
• 既存の文献をレビューし、パーセンタイルの応用に関するメソドロジカルな合意のギャップを同定する。

実験結果

リサーチクエスチョン

• RQ1 パーセンタイルベースの指標は、平均ベースの指標と比較して、被引用インパクトの正規化をどのように改善するか？
• RQ2 bibliometricデータにおけるパーセンタイルの計算およびランククラスの割り当てにおける主なメソドロジカルな課題は何か？
• RQ3 なぜパーセンタイル計算およびランク割り当ての一貫性が、bibliometric研究間の比較にとって重要なのか？
• RQ4 偏ったcitation分布におけるパーセンタイルの使用における統計的限界は何か？
• RQ5 研究者がパーセンタイルベースのアプローチを標準化することで、再現性および透明性をどのように高められるか？

主な発見

• 極端な値の影響を軽減するため、偏ったbibliometricデータに対しては、算術平均よりもパーセンタイルがより適切である。
• パーセンタイル計算およびランク割り当ての方法が不一致であると、研究間で比較不能な結果が生じる。
• 現在、bibliometricsにおけるパーセンタイルの計算およびランククラスの割り当てに、普遍的に受け入れられた方法は存在しない。
• パーセンタイル計算手法の選択が、得られるランク割り当ておよび被引用インパクトの解釈に顕著に影響を与える。
• 信頼性のある機関間および研究間比較を実現するため、パーセンタイル計算の標準化が不可欠である。
• 本稿は、メソドロジカルな合意のギャップが深刻であることを特定し、研究コミュニティが透明で一貫した実践を採用するよう促している。