[论文解读] Big Macs and Eigenfactor Scores: Don't Let Correlation Coefficients Fool You

Jevin D. West, Théodore C. Bergstrom+1 more|arXiv (Cornell University)|Nov 10, 2009

scientometrics and bibliometrics research参考文献 14被引用 6

一句话总结

本文挑战了高相关性（如Eigenfactor与影响因子之间相关系数为0.95）即意味着信息冗余的假设。通过汉堡包类比及对《期刊引用报告》的实证分析，表明尽管相关系数高达0.95，Eigenfactor仍能捕捉到独特的期刊声望动态，尤其体现在相对排名与数值大小方面，因而可作为传统指标的宝贵补充。

ABSTRACT

The Eigenfactor Metrics provide an alternative way of evaluating scholarly journals based on an iterative ranking procedure analogous to Google's PageRank algorithm. These metrics have recently been adopted by Thomson-Reuters and are listed alongside the Impact Factor in the Journal Citation Reports. But do these metrics differ sufficiently so as to be a useful addition to the bibliometric toolbox? Davis (2008) has argued otherwise, based on his finding of a 0.95 correlation coefficient between Eigenfactor score and Total Citations for a sample of journals in the field of medicine. This conclusion is mistaken; here we illustrate the basic statistical fallacy to which Davis succumbed. We provide a complete analysis of the 2006 Journal Citation Reports and demonstrate that there are statistically and economically significant differences between the information provided by the Eigenfactor Metrics and that provided by Impact Factor and Total Citations.

研究动机与目标

• 反驳关于Eigenfactor分数与影响因子或总被引次数因高相关性而信息冗余的观点。
• 揭示在文献计量学中将高相关性等同于信息等价的统计谬误。
• 证明Eigenfactor能够捕捉到超越简单引用次数的期刊声望独特维度。
• 倡导使用序次排名与数值排名的变化作为衡量指标差异的更优指标，而非相关系数。
• 提倡通过数据可视化与中位数比较，以揭示比单纯汇总统计更丰富的信息。

提出的方法

• 分析2006年《期刊引用报告》数据，比较各期刊的Eigenfactor、影响因子、文章影响力得分及总被引次数。
• 运用汉堡包类比说明：名义变量（如汉堡价格与工资）之间高相关性，可能掩盖实际购买力等真实比率中的显著差异。
• 通过序次排名变化与数值得分差异，比较不同指标下的期刊排名，尤其关注顶尖与最末位期刊。
• 通过对比图表（如图4）可视化指标差异，揭示其在揭示排名变动方面优于标准散点图。
• 采用中位数比较方法（如比较Eigenfactor排名前三分之一与后三分之一期刊的中位数“每引用性价比”），揭示被相关系数掩盖的结构性差异。

实验结果

研究问题

• RQ1 Eigenfactor与总被引次数之间的相关系数较高（如r=0.955），是否意味着两者在期刊声望信息方面等价？
• RQ2 当以Eigenfactor与影响因子或文章影响力进行评估时，期刊的排名在序次与数值位置上存在何种差异，特别是在顶尖与最末位期刊中？
• RQ3 虚假相关性在误判文献计量指标实用性方面起何作用？
• RQ4 数据可视化与中位数比较能否揭示出相关系数所掩盖的指标间有意义的差异？
• RQ5 鉴于影响因子与文章影响力得分在期刊规模上的不同缩放方式，为何文章影响力得分比影响因子更适合作为与Eigenfactor比较的参照？

主要发现

• 尽管影响因子与文章影响力得分之间的相关系数为0.955，但《内科综合医学杂志》在排名中上升18位，而《疼痛医学杂志》下降35位，表明存在显著的重新排序。
• 在Eigenfactor排名前三分之一的期刊中，中位数‘每被引一次的声望收益’几乎是后三分之一期刊的2.4倍，揭示了声望感知上的显著差异。
• 《自然医学》在影响因子与文章影响力得分中均位列第2名，但在文章影响力得分中其声望感知显著提升，表明即使序次排名稳定，其数值大小仍存在明显差异。
• 实际工资（购买力）的标准差为均值的62%，表明名义工资与汉堡价格之间的高相关性（ρ=0.99）掩盖了真实世界中的显著差异。
• 序次排名变化在中层与低层期刊中最为显著，而顶尖期刊的重新排序极少，表明在引用次数预测力较弱的区域，指标差异最大。
• 仅依赖相关系数不足以评估指标的实用性；它们会掩盖不同文献计量框架下期刊价值评估中的实质性差异。