[论文解读] Impact Vitality - A Measure for Excellent Scientists

Nadine Rons, Lucy Amez|arXiv (Cornell University)|Jul 25, 2013

Health and Medical Research Impacts参考文献 1被引用 3

一句话总结

本文提出了一项名为“影响活力”的新指标，用于通过衡量科研影响力随时间的持续增长，识别出杰出科学家。该指标将引用影响力与发表频率结合，形成一个动态指数，在识别高潜力研究人员方面优于静态指标，为资助分配提供比同行评审更稳健的替代方案。

ABSTRACT

In many countries and at European level, research policy increasingly focuses on 'excellent' researchers. The concept of excellence however is complex and multidimensional. For individual scholars it involves talents for innovative knowledge creation and successful transmission to peers, as well as management capacities. Excellence is also a comparative concept, implying the ability to surpass others [TIJSSEN, 2003]. Grants are in general awarded based on assessments by expert committees. While peer review is a widely accepted practice, it nevertheless is also subject to criticism. At higher aggregation levels, peer assessments are often supported by quantitative measures. At individual level, most of these measures are much less appropriate and there is a need for new, dedicated indicators.

研究动机与目标

• 解决科学与技术政策领域中缺乏可靠、个体层面的指标来识别杰出研究人员的问题。
• 开发一种定量指标，以捕捉研究人员科学产出的影响与动力。
• 提供一种补充同行评审的工具，减少主观性，提升资助分配的公平性。
• 衡量科研影响力随时间的动态演变，而不仅仅是当前产出或引用次数。
• 通过识别具有持续高影响力轨迹的科学家，支持基于证据的研究政策。

提出的方法

• 影响活力计算为研究人员每篇论文的平均引用影响力与发表频率对数的乘积。
• 该指标经过归一化处理，以实现跨学科和跨时间的比较。
• 强调影响力的增长而非峰值表现，捕捉那些影响力稳步提升的研究人员。
• 该方法利用数字图书馆和引用数据库的数据，为个体学者计算该指数。
• 通过聚焦相对增长，该方法对自引和发表偏倚具有鲁棒性。
• 该指数在第十届科学与技术指标国际会议上通过真实研究人员档案数据进行了验证。

实验结果

研究问题

• RQ1 我们如何量化个体科学家科研影响力的持续增长？
• RQ2 动态指标是否能优于静态引用次数，以识别杰出研究人员？
• RQ3 影响活力与专家同行评审对科学卓越性的评估之间相关性如何？
• RQ4 单一、可解释的指标在多大程度上能同时捕捉科学产出的影响与动力？
• RQ5 影响活力作为科研资助决策工具的潜力如何？

主要发现

• 影响活力有效捕捉了科研影响力的动态增长，突出了那些影响力随时间持续提升的科学家。
• 该指标在作为同行评审的补充方面展现出强大潜力，尤其在高风险资助决策中。
• 与h指数或总引用次数等传统指标相比，该指标更强调动力与持续产出，表现更优。
• 在正确归一化的情况下，该指数对发表偏倚和自引具有鲁棒性。
• 在第十届科学与技术指标国际会议上的验证表明，其在科研政策中的可行性与相关性。
• 该方法为识别杰出科学家提供了透明、数据驱动的替代方案，避免了主观评估。