[论文解读] Inconsistencies of Recently Proposed Citation Impact Indicators and how to Avoid Them

Michael Schreiber|arXiv (Cornell University)|Feb 17, 2012

scientometrics and bibliometrics research参考文献 9被引用 4

一句话总结

本文揭示了近期提出的两种引文影响力指标 I3(6PR) 和 R(6,k) 的关键不一致性，特别是在小数据集中的表现，其中微小的数据变动会导致排名出现剧烈波动，原因在于百分位排名类别权重分配存在缺陷。作者提出了一种分数计分规则及调整后的权重分配，以确保严格独立性和稳定性，显著减少了不一致性，同时保持对学科差异的敏感性。

ABSTRACT

It is shown that under certain circumstances in particular for small datasets the recently proposed citation impact indicators I3(6PR) and R(6,k) behave inconsistently when additional papers or citations are taken into consideration. Three simple examples are presented, in which the indicators fluctuate strongly and the ranking of scientists in the evaluated group is sometimes completely mixed up by minor changes in the data base. The erratic behavior is traced to the specific way in which weights are attributed to the six percentile rank classes, specifically for the tied papers. For 100 percentile rank classes the effects will be less serious. For the 6 classes it is demonstrated that a different way of assigning weights avoids these problems, although the non-linearity of the weights for the different percentile rank classes can still lead to (much less frequent) changes in the ranking. This behavior is not undesired, because it can be used to correct for differences in citation behavior in different fields. Remaining deviations from the theoretical value R(6,k) = 1.91 can be avoided by a new scoring rule, the fractional scoring. Previously proposed consistency criteria are amended by another property of strict independence which a performance indicator should aim at.

研究动机与目标

• 调查近期引文影响力指标（特别是 I3(6PR) 和 R(6,k)）在数据轻微扰动下的不稳定性。
• 识别在小数据集中排名行为异常的根本原因，特别是与六种类别百分位排名中的同分论文及非均匀权重分配相关的问题。
• 提出一种修订后的计分规则——分数计分规则——以最小化不一致性，同时保持对学科相关引文行为的敏感性。
• 通过引入严格独立性这一属性，强化一致性标准，确保指标值不会因数据的微小变化而任意波动。

提出的方法

• 分析三个示例，其中增加或删除单篇论文或引文即导致 I3(6PR) 和 R(6,k) 下研究人员排名发生完全反转。
• 追溯不一致性根源在于对六个百分位排名类别的权重分配非线性且任意，尤其针对同分论文。
• 提出一种基于引用份额比例分配权重的分数计分规则，降低不稳定性，同时保持对学科差异的敏感性。
• 通过调整计分机制，修正理论期望值 R(6,k) = 1.91，消除残余偏差。
• 引入严格独立性概念作为性能指标的新标准，要求在数据轻微扰动下排名保持稳定。
• 使用模拟与分析推理方法，比较标准计分与分数计分在不同数据集规模和引文模式下的表现。

实验结果

研究问题

• RQ1 为何 I3(6PR) 和 R(6,k) 引文影响力指标在小数据集稍作修改时表现出异常行为？
• RQ2 在六类系统中，当论文在百分位排名类别内同分时，是什么导致了排名的不稳定性？
• RQ3 能否设计一种修订后的计分规则，在消除排名不一致性的同时，仍保持对学科差异的敏感性？
• RQ4 如何在引文影响力指标中正式定义并强制实施严格独立性属性？
• RQ5 所提出的修改在多大程度上减少了与理论值 R(6,k) = 1.91 的偏差？

主要发现

• I3(6PR) 和 R(6,k) 指标在小数据集中表现出强烈的排名不一致性，微小的数据变化在测试示例中导致排名完全反转。
• 不一致性的根本原因在于对六个百分位排名类别的权重分配非线性且任意，尤其针对同分论文。
• 所提出的分数计分规则显著减少了排名波动，并在数据扰动下确保更高的稳定性。
• 新计分规则使观测到的 R(6,k) 值更接近理论期望值 1.91，消除了残余偏差。
• 引入严格独立性作为标准，确保性能指标在数据轻微改变时仍保持稳健和可靠。