[论文解读] Citation entropy and research impact estimation

З. К. Силагадзе|arXiv (Cornell University)|May 7, 2009

Complex Systems and Time Series Analysis参考文献 26被引用 27

一句话总结

本文提出了s-index，一种基于引用熵的引用影响力指标，旨在解决h-index在衡量研究影响力时的局限性，例如对超过h阈值的引用数量变化不敏感。利用信息论，s-index量化了引用分布的多样性，并在非齐普夫分布的引用数据中表现出更强的敏感性，尽管在典型齐普夫分布条件下h-index依然稳健。

ABSTRACT

A new indicator, a real valued $s$-index, is suggested to characterize a quality and impact of the scientific research output. It is expected to be at least as useful as the notorious $h$-index, at the same time avoiding some its obvious drawbacks. However, surprisingly, the $h$-index is found to be quite a good indicator for majority of real-life citation data with their alleged Zipfian behaviour for which these drawbacks do not show up. The style of the paper was chosen deliberately somewhat frivolous to indicate that any attempt to characterize the scientific output of a researcher by just one number always has an element of a grotesque game in it and should not be taken too seriously. I hope this frivolous style will be perceived as a funny decoration only.

研究动机与目标

• 为解决h-index对超过h阈值的引用数量变化不敏感的问题，该问题无法真实反映影响力差异。
• 开发一种更细致的指标，利用信息论捕捉研究人员产出中引用分布的多样性。
• 评估基于引用熵的指标（如s-index）是否在公平性和敏感性方面优于h-index，特别是在非标准引用模式下。
• 研究h-index在齐普夫引用分布下的稳健性，并评估s-index在这些情况下是否具有优势。
• 警告不要过度依赖单一数值指标进行学术评价，提倡辅以基于网络的分析。

提出的方法

• 使用香农公式定义引用熵S：S = -Σ(pi * ln(pi))，其中pi = Ci/Ctot为每篇论文的归一化引用数。
• 将s-index定义为s = (1/4) * sqrt(Ctot) * exp(S/S0)，其中S0 = ln(N)为均匀引用分布下的最大熵。
• 通过Kullback-Leibler散度重新表述s-index：s ≈ (2/3) * sqrt(Ctot) * exp(-SKL/S0)，其中SKL衡量与均匀分布的偏离程度。
• 在齐普夫分布（Ci = C/i）下分析引用记录，推导出h-index与s-index的理论标度规律。
• 将理论预测与Citebase中的实证数据进行比较，验证了hN ≈ sqrt(Ctot / ln N)与sN ≈ (2/3) * sqrt(Ctot) * ln(√N ln N)/ln N的标度行为。
• 使用模拟和真实引用数据，在各种场景下（包括引用记录变化和异常高被引论文）测试s-index的行为。

实验结果

研究问题

• RQ1 当引用数量超过h阈值时，s-index相较于h-index在捕捉引用影响力差异方面表现如何？
• RQ2 h-index在齐普夫引用分布下在多大程度上仍为可靠指标？为何其在这些情况下表现良好？
• RQ3 引用熵能否提供比h-index更敏感、更公平的研究影响力衡量方式，特别是在非均匀引用模式下？
• RQ4 极高被引的异常值论文对h-index与s-index的有效性有何影响？它们如何影响标度规律？
• RQ5 s-index与h-index的理论标度行为与来自Citebase等真实世界存储库的实证引用数据是否一致？

主要发现

• s-index对超过h阈值的引用数量变化比h-index更敏感，例如当h=10篇论文的引用数增加十倍时，s从6.8上升至21.5。
• 当研究人员在合作中失去影响力时，s-index从4.8降至3.0，更真实地反映了影响力下降，而h-index保持不变。
• 当非最高被引论文获得引用时，s-index从3.0升至6.9，表明其对更广泛引用增长的响应能力优于h-index。
• 在齐普夫引用分布（Ci = C/i）下，h-index的标度为h ≈ sqrt(Ctot / ln N)，s-index的标度为s ≈ (2/3) * sqrt(Ctot) * ln(√N ln N)/ln N，两者均得到实证验证。
• 当N=30和N=130时，S/S0分别约为0.86和0.82，表明在齐普夫条件下引用熵具有高度可预测性，使h-index在这些情形下表现有效。
• 具有极高引用数的异常值论文会破坏齐普夫行为并使标度规律失效；移除这些异常值后，两种指标的理论标度关系得以恢复。