[论文解读] Measuring impact in research evaluations: A thorough discussion of methods for, effects of, and problems with impact measurements

Lutz Bornmann|arXiv (Cornell University)|Oct 6, 2014

scientometrics and bibliometrics research参考文献 68被引用 8

一句话总结

本文批判性地审视了测量研究影响的方法、效果及挑战，强调了从科学影响向社会影响转变的趋势。它指出了系统性问题，如不平等、随机性和不可预测性，这些因素扭曲了文献计量评分，呼吁科学家和评估者在研究评估中认识到这些局限性。

ABSTRACT

Impact of science is one of the most important topics in scientometrics. Recent developments show a fundamental change in impact measurements from impact on science to impact on society. Since impact measurement is currently in a state of far reaching changes, this paper describes recent developments and facing problems in this area. For that the results of key publications (dealing with impact measurement) are discussed. The paper discusses how impact is generally measured within science and beyond (section 2), which effects impact measurements have on the science system (section 3), and which problems are associated with impact measurement (section 4). The problems associated with impact measurement constitute the focus of this paper: Science is marked by inequality, random chance, anomalies, the right to make mistakes, unpredictability, and a high significance of extreme events, which might distort impact measurements. Scientometricians as the producer of impact scores and decision makers as their consumers should be aware of these problems and should consider them in the generation and interpretation of bibliometric results, respectively.

研究动机与目标

• 分析研究影响测量格局的演变，特别是从科学影响向社会影响转变的过程。
• 识别并讨论文献计量影响评估中固有的系统性问题，如不平等和随机性。
• 考察影响测量对研究行为和学术决策的影响。
• 强调在研究评估中过度依赖定量影响评分的风险。
• 倡导科学计量学家和评估者提高对影响指标局限性和扭曲现象的认识。

提出的方法

• 系统性回顾和综合科学计量学中关于影响测量的关键出版物。
• 对科学领域及之外的影响测量方法进行主题分析，包括基于引用的指标和替代性指标。
• 评估影响测量对研究实践和机构政策的影响。
• 识别影响科学的结构性问题，如不可预测性和极端事件，这些因素影响影响评分。
• 运用概念框架解释随机机会和异常现象如何扭曲文献计量结果。
• 批判性评估科学计量学家作为影响数据生产者，以及决策者作为消费者的角色。

实验结果

研究问题

• RQ1 影响测量的方法如何演变，特别是在从科学影响向社会影响转变方面？
• RQ2 在研究评估中使用影响指标的非预期后果是什么？
• RQ3 科学中的系统性问题如何扭曲影响测量的准确性和公平性？
• RQ4 随机性、不平等和极端事件等因素如何影响文献计量指标？
• RQ5 科学计量学家和评估者在解释和应用影响评分方面承担什么责任？

主要发现

• 影响测量已发生根本性转变，从衡量科学内部的影响转向评估社会影响。
• 系统性问题如不平等、随机机会和不可预测性显著扭曲了影响评分。
• 极端事件和异常现象可能不成比例地影响文献计量指标，导致误导性评估。
• 犯错的权利以及科学发现固有的不可预测性，挑战了影响指标的可靠性。
• 基于影响评分的科学研究评估可能加剧现有不平等，并扭曲研究激励机制。
• 影响评分的生产者和这些指标的消费者都必须对文献计量评估中固有的局限性和偏见保持批判性认识。