[論文レビュー] Big Macs and Eigenfactor Scores: Don't Let Correlation Coefficients Fool You

Jevin D. West, Théodore C. Bergstrom+1 more|arXiv (Cornell University)|Nov 10, 2009

scientometrics and bibliometrics research参考文献 14被引用数 6

ひとこと要約

この論文は、Eigenfactorとインパクトファクターなどの文献計測指標の間の高い相関が、情報の重複を示すと仮定する見解に挑戦する。ビッグマックのたとえとJournal Citation Reportsの実証的分析を通じて、相関係数が0.95であっても、Eigenfactorは相対的ランキングや基数的価値において特徴的な権威のダイナミクスを捉えていることが示され、従来の指標とは相補的な価値を持つことが明らかになった。

ABSTRACT

The Eigenfactor Metrics provide an alternative way of evaluating scholarly journals based on an iterative ranking procedure analogous to Google's PageRank algorithm. These metrics have recently been adopted by Thomson-Reuters and are listed alongside the Impact Factor in the Journal Citation Reports. But do these metrics differ sufficiently so as to be a useful addition to the bibliometric toolbox? Davis (2008) has argued otherwise, based on his finding of a 0.95 correlation coefficient between Eigenfactor score and Total Citations for a sample of journals in the field of medicine. This conclusion is mistaken; here we illustrate the basic statistical fallacy to which Davis succumbed. We provide a complete analysis of the 2006 Journal Citation Reports and demonstrate that there are statistically and economically significant differences between the information provided by the Eigenfactor Metrics and that provided by Impact Factor and Total Citations.

研究の動機と目的

• 高相関があるため、Eigenfactorスコアがインパクトファクターまたは総被引用回数と重複しているという主張を反証すること。
• 文献計測学において、高相関を情報的同等性と同一視する統計的誤謬を暴露すること。
• Eigenfactorが単なる被引用回数を超えて、ジャーナルの権威に関する独自の側面を捉えていることを示すこと。
• 相関係数よりも順序的・基数的順位の変化を、指標の乖離を示すより優れた指標とするべきであることを主張すること。
• 要約統計量だけではなく、データ可視化と中央値比較を用いることで、より情報を得られるよう促すこと。

提案手法

• 2006年のJournal Citation Reportsデータを分析し、ジャーナルごとにEigenfactor、インパクトファクター、アーティクルインフルエンス、および総被引用回数を比較する。
• ビッグマックのたとえを用いて、名目的変数（例：ハンバーガーの価格と賃金）の間の高相関が、実際の購買力の比における有意義な変動を隠していることを説明する。
• 特に上位および下位のジャーナルについて、順序的順位の変化と基数的スコアの差を用いて、指標間の順位付けの違いを比較する。
• 比較的プロット（例：図4）を用いて、標準的な散布図よりも順位のシフトを顕著に示すことで、指標の不一致を可視化する。
• 中央値ベースの比較（例：Eigenfactorで上位3分の1と下位3分の1のジャーナルにおける中央値「被引用1件あたりのインパクト」）を用い、相関係数が隠蔽する構造的差を明らかにする。

実験結果

リサーチクエスチョン

• RQ1 Eigenfactorと総被引用回数の間の相関係数が高く（例：r=0.955）、それがジャーナルの権威に関する情報が同等であると示唆するのか？
• RQ2 特に順序的および基数的順位の観点から、Eigenfactorとインパクトファクターまたはアーティクルインフルエンスによるジャーナル順位の違いは何か？
• RQ3 誤った相関が、文献計測指標の有用性を誤って評価するのにはどのような役割を果たすのか？
• RQ4 データ可視化と中央値比較は、相関係数が隠蔽する指標間の有意義な差を明らかにできるのか？
• RQ5 ジャーナルの規模に応じたスケーリングの違いを考慮すると、なぜアーティクルインフルエンススコアがEigenfactorとの比較においてより適切な比較対象となるのか？

主な発見

• インパクトファクターとアーティクルインフルエンスの間の相関係数が0.955であっても、『General Internal Medicine』は順位で18位上昇し、『Pain Medicine』は35位下落した。これは顕著な順位再編を示している。
• Eigenfactorで上位3分の1のジャーナルにおける中央値「被引用1件あたりのインパクト」は、下位3分の1のジャーナルと比べて約2.4倍にのぼり、認識された権威の差が顕著であることが明らかになった。
• 『Nature Medicine』はインパクトファクターおよびアーティクルインフルエンスの両方で第2位を維持しているが、アーティクルインフルエンスでは認識される権威の水準が著しく上昇しており、順位は安定しているものの基数的価値の違いが顕在化している。
• 実際の賃金（購買力）の標準偏差は平均の62％にのぼり、ハンバーガーの価格と賃金の間の相関係数（ρ=0.99）が、実世界の変動を大きく隠蔽していることが示された。
• 順位の変化は、ジャーナルの中央および下位層で顕著であり、上位層では最小限にとどまっている。これは、被引用回数が予測力に乏しい分野で、指標の乖離が最も顕著であることを示している。
• 相関係数だけでは指標の有用性を評価するには不十分であり、異なる文献計測フレームワーク下でのジャーナル評価の差を隠蔽している。