[論文レビュー] Disruptive papers in science are losing impact

An Zeng, Ying Fan+3 more|arXiv (Cornell University)|May 5, 2023

scientometrics and bibliometrics researchDecision Sciences被引用数 3

ひとこと要約

本研究は、70年間にわたり科学的インパクト（被引用回数）と独自性（破壊的影響）の関係の変化を分析し、正の相関から負の相関への顕著なシフトが見られたと結論している。被引用回数と破壊的影響の指標を6つの学術分野にわたって用い、極めて破壊的な論文が今やより少ない被引用回数を獲得していることが明らかになった。これは、情報過多と被引用回数に基づくインパクト評価システムの影響により、画期的なイノベーションに対する注目が低下していることを示唆している。

ABSTRACT

The impact and originality are two critical dimensions for evaluating scientific publications, measured by citation and disruption metrics respectively. Despite the extensive effort made to understand the statistical properties and evolution of each of these metrics, the relations between the two remain unclear. In this paper, we study the evolution during last 70 years of the correlation between scientific papers' citation and disruption, finding surprisingly a decreasing trend from positive to negative correlations over the years. Consequently, during the years, there are fewer and fewer disruptive works among the highly cited papers. These results suggest that highly disruptive studies nowadays attract less attention from the scientific community. The analysis on papers' references supports this trend, showing that papers citing older references, less popular references and diverse references become to have less citations. Possible explanations for the less attention phenomenon could be due to the increasing information overload in science, and citations become more and more prominent for impact. This is supported by the evidence that research fields with more papers have a more negative correlation between citation and disruption. Finally, we show the generality of our findings by analyzing and comparing six disciplines.

研究の動機と目的

• 研究論文における科学的インパクト（被引用回数）と独自性（破壊的影響）の時間的変化の関係を調査すること。
• 極めて破壊的な論文が、時間の経過とともに科学界からの高い注目を集め続けているかどうかを特定すること。
• 参考文献のパターン（年代、人気、多様性）を独自性の代理指標として用い、それらが被引用インパクトに与える影響を調査すること。
• 破壊的影響と被引用回数の負の相関が、多様な科学分野にわたり一般的な傾向であるかどうかを評価すること。

提案手法

• 時間的比較可能性を確保するため、論文のインパクトを $C_5$（出版後5年以内の被引用回数）で測定した。
• 破壊的影響を $D_5$ で計算した。$D_5$ は、焦点論文の参考文献を引用しない引用論文の割合に基づく指標で、-1 から 1 の範囲をとる。
• 独自性の代替指標として参考文献の多様性を用い、すべての参考文献ペアについて $1/(1 + n_{ij})$ の平均値として定義した。ここで $n_{ij}$ は、歴史的共引用回数を表す。
• ブートストラップリサンプリングを用いて、特定の年における極めて破壊的な論文と全論文の平均 $C_5$ 間の差の統計的有意性を検証した。
• 物理学、コンピュータサイエンス、化学、生物学、社会科学、多分野科学の6分野のデータを分析した。データはAPS、ACS、SAGE、Cell、Microsoft Academic Graph、AMinerの公開データセットを用いた。
• 破壊的影響と被引用回数の相関を時間的経過とともに分析し、分野レベルの論文発表量がこの相関に与える影響を評価した。

実験結果

リサーチクエスチョン

• RQ1 過去70年間において、科学文献における被引用インパクトと破壊的影響の相関はどのように変化してきたか？
• RQ2 極めて破壊的な論文は、今も高い被引用回数を獲得しているのか、それともその可視性が時間の経過とともに低下しているのか？
• RQ3 参考文献の年代、人気、多様性は、論文の被引用インパクトをどの程度予測できるか？
• RQ4 ある分野における科学的出力の量が増加するにつれて、破壊的影響と被引用回数の負の相関は強まるか？
• RQ5 破壊的論文のインパクト低下傾向は、複数の科学分野にわたり一貫しているか？

主な発見

• 被引用回数（$C_5$）と破壊的影響（$D_5$）の相関は、過去70年間で正の相関から負の相関にシフトしており、破壊的論文がますます引用されにくくなっていることを示している。
• 極めて破壊的な論文は、今や同じ年の平均論文よりも著しく少ない被引用回数を獲得しており、この差は時間の経過とともに拡大している。
• 古めいた参考文献、人気のない参考文献、多様性の高い参考文献を引用する論文は、被引用回数が少なくなる傾向にあり、被引用ベースの評価システムにおいて独自性が罰せられている可能性がある。
• 論文発表量の多い分野では、破壊的影響と被引用回数の負の相関がより強く現れ、分野レベルの情報過多がこの傾向を強化していることが示された。
• 破壊的影響と被引用回数の負の相関は、物理学、コンピュータサイエンス、化学、生物学、社会科学、多分野科学の6分野すべてで一貫して観察された。これは、この発見の一般性を裏付けている。
• 破壊的論文のインパクト低下は、情報過多と被引用回数が科学的インパクト評価にますます支配的になっていることによるものと考えられる。