[论文解读] Citation analysis cannot legitimate the strategic selection of excellence

Tobias Opthof, Loet Leydesdorff|arXiv (Cornell University)|Feb 13, 2011

scientometrics and bibliometrics research参考文献 14被引用 4

一句话总结

本文通过证明关键引文指标——包括新提出的“王冠”指标——与同行评审的质量评估之间无显著相关性，挑战了使用引文分析来战略性选择学术卓越的正当性。基于Van Raan（2006）发布的数据，作者表明，引文指标与基于同行评审的质量衡量标准不一致，从而削弱了其在高风险评估决策中的应用。

ABSTRACT

In reaction to a previous critique(Opthof & Leydesdorff, 2010), the Center for Science and Technology Studies (CWTS) in Leiden proposed to change their old "crown" indicator in citation analysis into a new one. Waltman et al. (2011)argue that this change does not affect rankings at various aggregated levels. However, CWTS data is not publicly available for testing and criticism. In this correspondence, we use previously published data of Van Raan (2006) to address the pivotal issue of how the results of citation analysis correlate with the results of peer review. A quality parameter based on peer review was neither significantly correlated with the two parameters developed by the CWTS in the past (CPP/JCSm or CPP/FCSm) nor with the more recently proposed h-index (Hirsch, 2005). Given the high correlations between the old and new "crown" indicators, one can expect that the lack of correlation with the peer-review based quality indicator applies equally to the newly developed ones.

研究动机与目标

• 评估引文分析指标是否能够合法地支持学术卓越的战略选择。
• 研究基于引文的指标与基于同行评审的质量评估之间的相关性。
• 评估新提出的“王冠”指标在引文分析中是否与同行评审的质量判断保持一致。
• 挑战将引文指标用作研究政策和资助决策中学术卓越代理指标的有效性。

提出的方法

• 利用Van Raan（2006）关于研究表现和引文指标的已发表数据。
• 将基于同行评审的质量指标与多种基于引文的指标（包括CPP/JCSm、CPP/FCSm和h指数）进行比较。
• 评估基于同行评审的质量参数与各种引文指标之间的相关性。
• 评估传统引文指标与同行评审之间缺乏相关性对新提出的“王冠”指标合法性的潜在影响。
• 使用统计分析检验观察到的相关性的显著性。
• 基于新“王冠”指标与旧引文指标之间的高度相关性，推断其行为应与旧指标相似，从而推断其性能。

实验结果

研究问题

• RQ1 引文分析指标与同行评审质量评估之间的相关性在多大程度上存在？
• RQ2 引文分析中新提出的“王冠”指标在多大程度上可被视为学术卓越的有效代理指标？
• RQ3 传统引文指标与同行评审之间缺乏相关性是否削弱了基于引文的评估的正当性？
• RQ4 新“王冠”指标与既有的衡量指标相比，在反映同行评审质量方面表现如何？
• RQ5 引文指标与同行评审之间相关性微弱对研究评估政策意味着什么？

主要发现

• 基于同行评审的质量参数与CWTS开发的CPP/JCSm或CPP/FCSm引文指标之间无显著相关性。
• 基于同行评审的质量指标也与h指数（一种广泛使用的引文指标）无显著相关性。
• 鉴于旧“王冠”指标与新“王冠”指标之间存在高度相关性，可以预期其与同行评审之间同样缺乏相关性。
• 研究结果表明，引文分析无法为研究评估中卓越性的战略选择提供合法依据。
• 本研究质疑在高风险决策背景下将引文指标用作学术质量可靠代理的合理性。
• 结果表明，基于引文的评估体系可能系统性地扭曲专家小组所评估的真实研究质量。