[论文解读] Disruptive papers in science are losing impact

An Zeng, Ying Fan+3 more|arXiv (Cornell University)|May 5, 2023

scientometrics and bibliometrics researchDecision Sciences被引用 3

一句话总结

本研究分析了过去70年中科学影响力（引用次数）与原创性（破坏性）之间关系的演变，发现二者相关性由正转负。通过在六个学科领域使用引用与破坏性指标，研究揭示出高度破坏性的论文如今获得的引用更少，表明由于信息过载和以引用为导向的影响力评估体系，科学界对激进创新的关注正在下降。

ABSTRACT

The impact and originality are two critical dimensions for evaluating scientific publications, measured by citation and disruption metrics respectively. Despite the extensive effort made to understand the statistical properties and evolution of each of these metrics, the relations between the two remain unclear. In this paper, we study the evolution during last 70 years of the correlation between scientific papers' citation and disruption, finding surprisingly a decreasing trend from positive to negative correlations over the years. Consequently, during the years, there are fewer and fewer disruptive works among the highly cited papers. These results suggest that highly disruptive studies nowadays attract less attention from the scientific community. The analysis on papers' references supports this trend, showing that papers citing older references, less popular references and diverse references become to have less citations. Possible explanations for the less attention phenomenon could be due to the increasing information overload in science, and citations become more and more prominent for impact. This is supported by the evidence that research fields with more papers have a more negative correlation between citation and disruption. Finally, we show the generality of our findings by analyzing and comparing six disciplines.

研究动机与目标

• 研究科学论文中科学影响力（引用次数）与原创性（破坏性）关系随时间的演变。
• 确定高度破坏性的论文是否仍能持续获得科学界的广泛关注。
• 探讨参考文献特征（如引用文献的年龄、流行度和多样性）作为原创性代理指标的作用，及其对引用影响力的影响。
• 评估破坏性与引用次数之间的负相关性是否为跨多样化科学领域的普遍趋势。

提出的方法

• 使用 $C_5$ 衡量论文影响力，即论文发表后5年内获得的引用次数，以确保时间可比性。
• 使用 $D_5$ 计算破坏性，该指标基于未引用目标论文参考文献的引用论文的比例，取值范围为 -1 到 1。
• 将参考文献多样性作为原创性的替代度量指标，定义为所有参考文献对的 $1/(1 + n_{ij})$ 的平均值，其中 $n_{ij}$ 为它们的历史共引次数。
• 应用自举重采样方法，检验在特定年份中高度破坏性论文与所有论文之间 $C_5$ 均值差异的统计显著性。
• 分析六个学科领域（物理学、计算机科学、化学、生物学、社会科学和多学科科学）的数据，使用来自 APS、ACS、SAGE、Cell、Microsoft Academic Graph 和 AMiner 的公开数据集。
• 分析破坏性与引用次数随时间的相关性，并评估学科层面的出版量对这一相关性的影响。

实验结果

研究问题

• RQ1 在过去70年中，科学文献中引用影响力与破坏性之间的相关性如何演变？
• RQ2 高度破坏性的论文是否仍能获得高引用次数，还是其可见度随时间下降？
• RQ3 引用文献的年龄、引用文献的流行度以及引用文献的多样性在多大程度上可预测论文的引用影响力？
• RQ4 在某一学科领域中，科学产出量越大，破坏性与引用次数之间的负相关性是否越强？
• RQ5 破坏性成果影响力下降的趋势是否在多个科学学科中保持一致？

主要发现

• 在过去70年中，引用次数（$C_5$）与破坏性（$D_5$）之间的相关性由正转负，表明破坏性论文正变得越来越不被引用。
• 如今，高度破坏性的论文获得的引用次数显著低于同一年份的平均水平，且这一差距随时间推移而扩大。
• 引用较老参考文献、较不流行参考文献以及更多样化参考文献的论文，其引用次数更少，表明在以引用为基础的评估体系中，原创性正受到惩罚。
• 出版量较高的研究领域表现出更强的破坏性与引用次数之间的负相关性，表明学科层面的信息过载加剧了这一趋势。
• 在六个学科领域——物理学、计算机科学、化学、生物学、社会科学和多学科科学中，破坏性与引用次数之间的负相关性均一致存在，证明了该发现的普遍性。
• 破坏性成果影响力下降的原因很可能是信息过载，以及引用次数在科学影响力评估中日益占据主导地位。