[论文解读] Metrics and Mechanisms: Measuring the Unmeasurable in the Science of Science

Lingfei Wu, Aniket Kittur+5 more|arXiv (Cornell University)|Nov 14, 2021

scientometrics and bibliometrics research被引用 5

一句话总结

本文提出一个框架，通过将科学沿四个二元轴——热/冷、快/慢、软/硬——进行分类，将科学度量与潜在机制联系起来，揭示了科学生产力、注意力转移和可重复性中的隐藏结构。文章认为，理解这些机制对于发展超越表面数据收集的有效且有意义的度量标准至关重要。

ABSTRACT

What science does, what science could do, and how to make science work? If we want to know the answers to these questions, we need to be able to uncover the mechanisms of science, going beyond metrics that are easily collectible and quantifiable. In this perspective piece, we link metrics to mechanisms by demonstrating how emerging metrics of science not only offer complementaries to existing ones, but also shed light on the hidden structure and mechanisms of science. Based on fundamental properties of science, we classify existing theories and findings into: hot and cold science referring to attention shift between scientific fields, fast and slow science reflecting productivity of scientists and teams, soft and hard science revealing reproducibility of scientific research. We suggest that interest about mechanisms of science since Derek J. de Solla Price, Robert K. Merton, Eugene Garfield, and many others complement the zeitgeist in pursuing new, complex metrics without understanding the underlying processes. We propose that understanding and modeling the mechanisms of science condition effective development and application of metrics.

研究动机与目标

• 解决科学领域日益依赖可量化度量，却缺乏对驱动科学活动的潜在机制的理解这一问题。
• 识别并分类科学的基本机制，使用四个二元维度：热科学与冷科学（注意力转移），快科学与慢科学（生产力），软科学与硬科学（可重复性）。
• 主张仅依靠度量不足以改善科学；相反，理解机制对于发展有意义的度量标准至关重要。
• 提供一个概念框架，将新兴度量与塑造科学研究和创新的深层过程联系起来。
• 将科学的科学定位为一个必须超越数据收集、迈向建模和理解科学自身机制的领域。

提出的方法

• 沿四个二元轴对科学现象进行分类：热/冷（领域间注意力转移），快/慢（科学家/团队的生产力），软/硬（研究的可重复性）。
• 利用Price、Merton和Garfield的既有理论基础，将所提出的分类建立在长期存在的社会学和文献计量学传统之上。
• 将新兴度量——如注意力动态、引文扩散和可重复性指标——整合到一个统一框架中，以反映潜在机制。
• 提出度量不应孤立发展，而必须基于科学行为和系统性过程的模型来指导。
• 将科学的科学视为既需要度量创新，也需要机制建模，以实现对科学如何运作的真正洞察。

实验结果

研究问题

• RQ1 我们如何才能超越易于测量的度量，揭示驱动科学进步的隐藏机制？
• RQ2 构成科学活动的基本二元性是什么？它们如何反映更深层次的系统性动态？
• RQ3 注意力转移（热科学与冷科学）在多大程度上影响科学研究的轨迹和影响力？
• RQ4 生产力模式（快科学与慢科学）如何反映个人与团队科学产出的差异？
• RQ5 软科学与硬科学的区分在多大程度上与可重复性和科学稳健性相关？

主要发现

• 将科学划分为热/冷、快/慢和软/硬维度，揭示了科学活动中存在明显且可分析的机制。
• 追踪注意力转移的度量（如引文激增、主题流行度）可与热/冷科学轴关联，反映领域间的动态转变。
• 通过发表率和团队动态衡量的生产力模式，支持快/慢科学的区分，凸显研究产出速度的差异。
• 可重复性趋势与软/硬科学轴一致，其中实验标准化程度较高的领域表现出更强的复制结果。
• 将度量与机制模型整合，能够提供比度量本身更深入的科学系统洞察。
• 理解机制对于设计不仅数据丰富，而且科学上有意义且可操作的度量标准至关重要。