[论文解读] How to evaluate individual researchers working in the natural and life sciences meaningfully? A proposal of methods based on percentiles of citations

Lutz Bornmann, Werner Marx|arXiv (Cornell University)|Feb 15, 2013

scientometrics and bibliometrics research参考文献 84被引用 4

一句话总结

本文提出了一种基于百分位数的引文评估框架，用于自然与生命科学领域的研究人员，以标准化的引文百分位数替代存在缺陷的指标（如h指数），实现对各科学子领域内引文影响力的规范化比较。通过将引文影响力相对于特定领域的基准进行归一化，该方法能够实现跨学科的更公平、多维的研究人员绩效比较。

ABSTRACT

Although bibliometrics has been a separate research field for many years, there is still no uniformity in the way bibliometric analyses are applied to individual researchers. Therefore, this study aims to set up proposals how to evaluate individual researchers working in the natural and life sciences. 2005 saw the introduction of the h index, which gives information about a researcher's productivity and the impact of his or her publications in a single number (h is the number of publications with at least h citations); however, it is not possible to cover the multidimensional complexity of research performance and to undertake inter-personal comparisons with this number. This study therefore includes recommendations for a set of indicators to be used for evaluating researchers. Our proposals relate to the selection of data on which an evaluation is based, the analysis of the data and the presentation of the results.

研究动机与目标

• 解决自然与生命科学领域个体研究人员文献计量评估缺乏标准化的问题。
• 克服单一数值指标（如h指数）的局限性，这些指标无法捕捉研究绩效的多维特性。
• 开发一种基于引文影响力的、一致且领域归一化的研究人员评估方法。
• 提供数据选择、分析与评估结果展示的实用指南，以确保透明性与公平性。
• 通过考虑不同领域引文习惯的差异，实现跨不同科学子领域的有意义人员间比较。

提出的方法

• 使用特定学科子领域内的引文百分位数，对个体引文影响力进行归一化。
• 通过将研究人员的出版物与所在领域及发表年份的引文分布进行比较，计算其相对引文影响力。
• 对出版物应用领域归一化的引文百分位数，而非依赖原始引文次数或聚合指标。
• 结合多个基于百分位数的指标（例如，前10%、25%、50%百分位数的出版物），以反映研究影响力的不同维度。
• 使用来自Web of Science或Scopus等数据库的引文数据，按科学领域和发表年份进行过滤，以确保准确性。
• 采用可视化和表格形式呈现结果，突出研究人员在同领域同时间段内与同行的相对表现。

实验结果

研究问题

• RQ1 如何在引文文化各异的不同科学子领域之间，对研究人员的引文影响力进行有意义的比较？
• RQ2 现有指标（如h指数）在捕捉研究绩效多维特性方面存在哪些局限性？
• RQ3 如何对引文数据进行归一化，以确保跨学科个体研究人员评估的公平性？
• RQ4 哪些指标组合能够提供全面且透明的个体研究影响力评估？
• RQ5 引文百分位数在机构或资助评估中如何实现实际应用？

主要发现

• 与绝对引文次数或h指数相比，基于百分位数的引文指标为评估个体研究人员提供了更公平且领域特定的方法。
• 该方法通过考虑不同科学领域间引文习惯的差异，实现了跨学科的有效比较。
• 使用引文百分位数可实现对研究影响力多维度的评估，包括高影响力出版物和整体引文表现。
• 该方法减少了受领域依赖的引文率和出版数量影响的偏差，提升了研究评估的公平性。
• 当结合标准化数据源和清晰的方法论指南时，该框架支持透明且可复现的评估。
• 本研究证明，基于百分位数的指标在研究评估场景中可有效替代或补充传统指标。