[论文解读] Field-normalized Impact Factors: A Comparison of Rescaling versus Fractionally Counted IFs

Loet Leydesdorff, Filippo Radicchi+3 more|arXiv (Cornell University)|Nov 12, 2012

scientometrics and bibliometrics research参考文献 35被引用 11

一句话总结

本文比较了两种用于影响因子场域归一化的技术：按聚类均值缩放与引用的分数计数法。基于来自13个科学领域的3,705本期刊的数据，研究发现缩放法在公平性和分析稳健性方面优于分数计数法，尤其在减少引用列表长度带来的偏差以及提升跨领域引用影响力评分的可比性方面表现更优。

ABSTRACT

Two methods for comparing impact factors and citation rates across fields of science are tested against each other using citations to the 3,705 journals in the Science Citation Index 2010 (CD-Rom version of SCI) and the 13 field categories used for the Science and Engineering Indicators of the US National Science Board. We compare (i) normalization by counting citations in proportion to the length of the reference list (1/N of references) with (ii) rescaling by dividing citation scores by the arithmetic mean of the citation rate of the cluster. Rescaling is analytical and therefore independent of the quality of the attribution to the sets, whereas fractional counting provides an empirical strategy for normalization among sets (by evaluating the between-group variance). By the fairness test of Radicchi & Castellano (2012a), rescaling outperforms fractional counting of citations for reasons that we consider.

研究动机与目标

• 评估并比较两种用于跨科学学科影响因子比较的场域归一化技术。
• 解决因不同引用习惯导致的跨领域引用率差异问题。
• 确定哪种归一化方法——缩放法或分数计数法——在影响因子比较中更能保持公平性与准确性。
• 评估每种方法在不同引用分布模式和参考文献列表长度下的稳健性。
• 为研究评估中更可靠的书目指标提供方法论基础。

提出的方法

• 缩放法通过将期刊的引用得分除以其所属领域聚类的算术平均引用率，对领域特定的引用行为进行归一化。
• 分数计数法将每条引用赋予一个权重，该权重与引用论文的参考文献列表长度成反比（即1/N），并按比例分配引用。
• 比较基于2010年科学引文索引中3,705本期刊的数据，这些期刊按美国国家科学委员会定义的13个学科分类。
• 使用Radicchi与Castellano（2012a）提出的公平性检验来评估每种方法在减少跨领域比较偏差方面的表现。
• 通过分析组间方差，评估分数计数法作为归一化策略的实证稳定性。
• 对各领域归一化后的影响因子进行统计比较，以评估每种方法的一致性与可靠性。

实验结果

研究问题

• RQ1 在科学领域间的影响因子比较中，哪种归一化方法——缩放法或分数计数法——能产生更可靠且更公平的结果？
• RQ2 参考文献列表长度的差异在分数计数法下如何影响场域归一化影响因子的准确性？
• RQ3 与分数计数法相比，缩放法在跨领域引用率比较中能多大程度上减少偏差？
• RQ4 缩放法在分析上独立于引用归属质量，这是否使其比分数计数法更具稳健性？
• RQ5 在真实引用数据中，两种方法在Radicchi与Castellano（2012a）提出的公平性检验下表现如何？

主要发现

• 缩放法在Radicchi与Castellano（2012a）提出的公平性检验中表现优于分数计数法，表明其在最小化跨领域偏差方面具有更优性能。
• 分数计数法在实证上依赖于引用归属至领域的质量，这可能引入变异性并降低可靠性。
• 缩放法在分析上独立于参考文献列表长度与引用分布，使其在不同期刊间更具稳健性与一致性。
• 缩放法更好地管理了引用率的组间方差，比分数计数法更有效地减少了领域特定的扭曲。
• 由于缩放法不依赖于引用在参考文献中均匀分布的假设，因此提供了更稳定的归一化框架。
• 结果支持将缩放法作为大规模书目分析中场域归一化影响因子计算的首选方法。