[논문 리뷰] Disruptive papers in science are losing impact

An Zeng, Ying Fan외 3명|arXiv (Cornell University)|2023. 05. 05.

scientometrics and bibliometrics researchDecision Sciences인용 수 3

한 줄 요약

이 연구는 70년에 걸쳐 과학적 영향(인용 수)과 원래성(파국성) 간의 변화하는 관계를 분석하여, 긍정적 상관관계에서 부정적 상관관계로의 상당한 전환을 발견하였다. 인용 수와 파국성 지표를 사용해 6개 분야에서 분석한 결과, 높은 파국성을 가진 논문들이 이제는 더 적은 인용 수를 얻고 있음을 확인하였으며, 이는 정보 과부하와 인용 수 중심의 영향 평가 체계로 인해 근본적인 혁신에 대한 관심이 감소하고 있음을 시사한다.

ABSTRACT

The impact and originality are two critical dimensions for evaluating scientific publications, measured by citation and disruption metrics respectively. Despite the extensive effort made to understand the statistical properties and evolution of each of these metrics, the relations between the two remain unclear. In this paper, we study the evolution during last 70 years of the correlation between scientific papers' citation and disruption, finding surprisingly a decreasing trend from positive to negative correlations over the years. Consequently, during the years, there are fewer and fewer disruptive works among the highly cited papers. These results suggest that highly disruptive studies nowadays attract less attention from the scientific community. The analysis on papers' references supports this trend, showing that papers citing older references, less popular references and diverse references become to have less citations. Possible explanations for the less attention phenomenon could be due to the increasing information overload in science, and citations become more and more prominent for impact. This is supported by the evidence that research fields with more papers have a more negative correlation between citation and disruption. Finally, we show the generality of our findings by analyzing and comparing six disciplines.

연구 동기 및 목표

• 연구 논문에서 과학적 영향(인용 수)과 원래성(파국성) 간의 시간적 변화를 조사하기.
• 높은 파국성을 가진 논문이 시간이 지남에 따라 과학 공동체의 높은 관심을 받고 있는지 여부를 확인하기.
• 참고문헌의 특성(예: 연령, 인기, 다양성)을 원래성의 대체 지표로 삼아 그 영향력에 미치는 영향을 탐구하기.
• 파국성과 인용 수 간의 부정적 상관관계가 다양한 과학 분야에서 일반적인 경향인지 평가하기.

제안 방법

• 시간적 비교 가능성을 확보하기 위해 $C_5$를 사용해 논문 영향을 측정함. $C_5$는 출판 후 5년 이내에 받은 인용 수를 의미함.
• 파국성은 $D_5$로 계산함. $D_5$는 인용 논문 중에서 대상 논문의 참고문헌을 인용하지 않는 비율에 기반하며, -1에서 1 사이의 값을 가짐.
• 원래성의 대체 지표로 참고문헌 다양성 사용. 참고문헌 쌍에 대해 $n_{ij}$를 역사적 동시인용 횟수로 정의하고, $1/(1 + n_{ij})$의 평균을 계산함.
• 높은 파국성을 가진 논문과 해당 연도의 모든 논문 간 평균 $C_5$의 차이가 통계적으로 유의미한지 확인하기 위해 부트스트랩 리샘플링 적용.
• APS, ACS, SAGE, Cell, Microsoft Academic Graph, AMiner 등의 공개 데이터셋을 활용해 물리학, 컴퓨터과학, 화학, 생물학, 사회과학, 다분야 과학의 6개 분야에서 데이터 분석.
• 파국성과 인용 수 간의 상관관계를 시간에 따라 분석하고, 분야 수준의 논문 발표량이 이 상관관계에 미치는 영향을 평가함.

실험 결과

연구 질문

• RQ1 과거 70년 동안 과학 문헌에서 인용 영향과 파국성 간의 상관관계는 어떻게 변화해 왔는가?
• RQ2 높은 파국성을 가진 논문들은 여전히 높은 인용 수를 기록하고 있는가, 아니면 그 가시성이 시간이 지남에 따라 감소하고 있는가?
• RQ3 참고문헌의 연령, 인기, 다양성은 논문의 인용 영향을 얼마나 잘 예측할 수 있는가?
• RQ4 특정 분야의 과학적 논문 발표량이 증가할수록 파국성과 인용 수 간의 부정적 상관관계가 강화되는가?
• RQ5 다양한 과학 분야에서 혁신적 논문의 영향력 감소 추세는 일관되게 관찰되는가?

주요 결과

• 과거 70년 동안 인용 수($C_5$)와 파국성($D_5$) 간의 상관관계가 긍정적에서 부정적으로 변화하였으며, 이는 파국성을 가진 논문들이 점점 더 적게 인용되고 있음을 시사한다.
• 높은 파국성을 가진 논문들은 이제 해당 연도의 평균 논문보다 유의미하게 더 적은 인용 수를 얻고 있으며, 이 격차는 시간이 지남에 따라 점점 커지고 있다.
• 오래된 참고문헌, 덜 인기 있는 참고문헌, 더 다양한 참고문헌을 인용하는 논문들은 더 적은 인용 수를 누적하는 경향이 있어, 인용 기반 평가 체계에서 원래성이 징벌받고 있음을 시사한다.
• 논문 발표량이 높은 분야에서는 파국성과 인용 수 간의 부정적 상관관계가 더욱 강하게 나타나, 분야 수준의 정보 과부하가 이 경향을 심화시킨다는 점을 시사한다.
• 파국성과 인용 수 간의 부정적 상관관계는 물리학, 컴퓨터과학, 화학, 생물학, 사회과학, 다분야 과학의 6개 분야에서 일관되게 관찰되어 연구 결과의 일반성을 입증한다.
• 혁신적 논문의 영향력 감소는 정보 과부하와 과학적 영향 평가에서 인용 수의 지배적 지위가 증가한 데 기인한 것으로 보인다.