[论文解读] Measuring science: irresistible temptations, easy shortcuts and dangerous consequences

Giovanni Abramo, Ciriaco Andrea D’Angelo|arXiv (Cornell University)|Dec 21, 2018

Evolution and Genetic DynamicsBiochemistry, Genetics and Molecular Biology被引用 21

一句话总结

本文批判了在国际科研基准评估中普遍误用总发表量和引用次数的现象，指出由于科学产出活力的固有差异，此类指标会扭曲不同学科间的比较。文章表明，若不考虑学科异质性，将导致误导性排名，并呼吁采用更细致、学科特定的评估方法，以避免造成有害的政策与资金决策。

ABSTRACT

In benchmarking international research, although publication and citation analyses should not be used to compare different disciplines, scientometrists frequently fail to resist the temptation to present rankings based on total publications and citations. Such measures are affected by significant distortions, due to the uneven fertility across scientific disciplines and the dishomogeneity of scientific specialisation among nations and universities. In this paper, we provide an indication of the extent of the distortions when comparative bibliometric analyses fail to recognise the range of levels of scientific fertility, not only within a given major disciplinary area but also within the different scientific disciplines encompassed by the same area.

研究动机与目标

• 揭露将总发表量与引用次数作为不同科学学科研究表现代理指标的危险性。
• 突出科学计量学家倾向于使用简单、易获取的指标，尽管其已知存在局限性。
• 展示学科与机构间科学产出活力的不均衡如何扭曲比较性文献计量分析。
• 倡导考虑研究产出与引用实践固有差异的学科敏感型评估框架。
• 警告依赖误导性指标进行科研资助与机构排名系统可能带来的政策后果。

提出的方法

• 分析不同科学学科及主要研究领域在发表与引用模式上的结构性差异。
• 利用国际科研产出的实证数据，说明总数量指标如何偏向医学与自然科学等高产出领域，而对人文学科等低产出领域不利。
• 将基于总发表量与引用次数的机构与国家排名，与经学科标准化的指标进行对比。
• 强调在未调整产出活力水平的情况下，跨学科基准评估中存在的方法论缺陷。
• 结合科研评估实践中的实际案例，说明指标滥用的后果。
• 提出应转向学科特定的标准化文献计量指标，以确保更公平的比较。

实验结果

研究问题

• RQ1 为何科学计量实践在已知学科偏差的情况下仍持续使用总发表量与引用次数？
• RQ2 当使用聚合指标时，科学产出活力的差异在多大程度上扭曲了国际科研排名？
• RQ3 各学科间不均衡的引用实践在多大程度上影响了跨学科表现比较的有效性？
• RQ4 依赖简单文献计量指标可能带来哪些政策与机构后果？
• RQ5 何种替代性评估框架可减轻聚合指标造成的扭曲？

主要发现

• 由于学科间科学产出活力存在显著差异，总发表量与引用次数极不适合用于跨学科比较。
• 医学与自然科学等学科的发表与引用率远高于人文学科，导致排名中系统性偏倚。
• 使用聚合指标会偏向于在高产出领域中占主导地位的机构与国家，而不论其实际研究质量或影响力如何。
• 若不针对学科差异进行标准化处理，将导致机构排名失真与科研资金错配。
• 尽管存在已知缺陷，行政便利性与方法论严谨性不足仍导致人们持续倾向使用简单、标准化的指标。
• 采用更细致、学科敏感的文献计量方法，对于确保科研评估的公平性与准确性至关重要。