[论文解读] How to evaluate universities in terms of their relative citation impacts: Fractional counting of citations and the normalization of differences among disciplines

Loet Leydesdorff, Jung Cheol Shin|arXiv (Cornell University)|Oct 12, 2010

scientometrics and bibliometrics research参考文献 39被引用 7

一句话总结

本文提出了一种分数计数法来公平评估跨学科大学，通过在不同科学领域间归一化引用影响力，减少因学科特定引用习惯带来的偏差。基于七所韩国大学的数据，研究显示分数计数法提高了排名的准确性，并通过网络可视化揭示了引用受众的差异，为跨多样化研究领域的机构表现提供了更公平的基准。

ABSTRACT

Fractional counting of citations can improve on ranking of multi-disciplinary research units (such as universities) by normalizing the differences among fields of science in terms of differences in citation behavior. Furthermore, normalization in terms of citing papers abolishes the unsolved questions in scientometrics about the delineation of fields of science in terms of journals and normalization when comparing among different journals. Using publication and citation data of seven Korean research universities, we demonstrate the advantages and the differences in the rankings, explain the possible statistics, and suggest ways to visualize the differences in (citing) audiences in terms of a network.

研究动机与目标

• 解决在引用行为各异的科学学科之间比较具有多样化研究领域的大学所面临的挑战。
• 克服传统引用指标的局限性，这些指标倾向于 favor 高引用率领域（如医学科学）而忽视低引用频率领域（如数学）。
• 开发一种归一化引用影响力的方法，考虑学科间引用习惯的差异，且不依赖于基于期刊的学科划分。
• 为多学科环境下的机构研究表现提供一种更公平、更透明的评估方式。
• 通过引用模式的网络分析，可视化不同大学之间引用受众的差异。

提出的方法

• 应用引用的分数计数法，即将每篇论文的每条引用平均分配给该论文的所有作者，并进一步根据作者的机构隶属关系将引用分配至各机构。
• 使用七所韩国研究型大学的出版和引用数据，计算各机构的归一化引用得分。
• 通过分数计数调整学科特定的引用行为，减少因学科层面引用频率差异带来的偏差。
• 构建引用机构的网络表示，以可视化各大学之间引用受众的多样性与分布情况。
• 将基于分数计数的排名与传统的基于引用的排名进行比较，以评估其在公平性和准确性方面的改进。
• 使用统计分析评估该方法在不同机构特征和研究领域中的稳健性与一致性。

实验结果

研究问题

• RQ1 如何在具有多样化研究领域的科学学科之间公平比较引用影响力？
• RQ2 分数引用计数在机构评估中在多大程度上减少了学科特定引用行为带来的偏差？
• RQ3 基于分数计数的排名与传统基于引用的排名在多学科机构中存在哪些差异？
• RQ4 引用模式的网络可视化能否揭示不同大学之间研究成果传播范围和受众的有意义差异？
• RQ5 基于被引用论文而非期刊的归一化方法对基于引用指标的可靠性与有效性有何影响？

主要发现

• 分数计数显著减少了因学科间引用行为差异导致的机构排名偏差。
• 与传统的基于引用的指标相比，该方法为多学科大学产生了更均衡、更公平的排名。
• 在低引用领域（如人文学科或数学）表现强劲的大学，在分数计数下比在标准引用计数下获得更充分的认可。
• 引用模式的网络可视化揭示了各机构之间引用受众在范围和构成上的显著差异，凸显了研究可见性与跨学科影响力的变化。
• 基于被引用论文而非期刊的归一化方法消除了对基于期刊分类的任意学科划分的依赖，提升了指标的透明度。
• 本研究证明，当比较研究组合异质性较高的机构时，分数计数能带来更一致且可解释的排名。