[논문 리뷰] The disruption index is biased by citation inflation

Alexander M. Petersen, Felber Arroyave외 1명|arXiv (Cornell University)|2023. 06. 02.

scientometrics and bibliometrics researchDecision Sciences인용 수 3

한 줄 요약

이 논문은 심층적 인용 증가 현상—더 긴 참고문헌 목록과 증가하는 자기인용에 의해 촉발되는—로 인해 파급 지수(CD)가 체계적으로 편향됨을 입증한다. 이로 인해 CD는 시간이 지남에 따라 잘못된 경향을 보이며, 이 편향은 시간 간 비교를 무효화한다. 연구자들은 이를 해결하기 위해 참고문헌 목록 수를 제한하는 정책적 조치를 제안한다.

ABSTRACT

A recent analysis of scientific publication and patent citation networks by Park et al. (Nature, 2023) suggests that publications and patents are becoming less disruptive over time. Here we show that the reported decrease in disruptiveness is an artifact of systematic shifts in the structure of citation networks unrelated to innovation system capacity. Instead, the decline is attributable to 'citation inflation', an unavoidable characteristic of real citation networks that manifests as a systematic time-dependent bias and renders cross-temporal analysis challenging. One driver of citation inflation is the ever-increasing lengths of reference lists over time, which in turn increases the density of links in citation networks, and causes the disruption index to converge to 0. A second driver is attributable to shifts in the construction of reference lists, which is increasingly impacted by self-citations that increase in the rate of triadic closure in citation networks, and thus confounds efforts to measure disruption, which is itself a measure of triadic closure. Combined, these two systematic shifts render the disruption index temporally biased, and unsuitable for cross-temporal analysis. The impact of this systematic bias further stymies efforts to correlate disruption to other measures that are also time-dependent, such as team size and citation counts. In order to demonstrate this fundamental measurement problem, we present three complementary lines of critique (deductive, empirical and computational modeling), and also make available an ensemble of synthetic citation networks that can be used to test alternative citation-based indices for systematic bias.

연구 동기 및 목표

• 과학적 인용 네트워크에서 인용 증가 현상으로 인한 파급 지수(CD)의 체계적 편향을 특정하고 진단하는 것.
• CD의 시간에 따른 감소 추세가 실제 과학적 혁신 감소를 반영하는 것이 아니라 인용 네트워크의 구조적 변화에 기인한 결과임을 입증하는 것.
• 팀 규모나 인용 수와 같은 시간에 따라 변화하는 변수와 연관된 경우, CD를 시간 간 비교 분석에 사용하는 것이 타당한지 도전하는 것.
• 참고문헌 목록 수 제한과 같은 정책적 조치를 통해 인용 증가 현상을 완화하고, 문헌정보학적 지표의 안정성을 높이는 것.
• 다른 편향에 강건한 인용 기반 지표를 테스트할 수 있도록 합성 인용 네트워크를 제공하는 것.

제안 방법

• 파급 지수의 수학적 구조를 추론적으로 분석하여, 참고문헌 목록 길이(r_p) 증가와 자기인용에 의한 삼중 클로징 현상이 시간에 따라 편향을 유도하는 방식을 규명하는 것.
• 실제 인용 네트워크(예: 마이크로소프트 애카데믹 그래프)를 대상으로 실증 분석을 수행하여 r_p와 인용 수가 시간이 지남에 따라 증가하고, 이와 함께 CD 값이 감소하는 경향을 보임을 입증하는 것.
• 컴퓨터 시뮬레이션을 통해 다양한 매개변수(예: r_p 증가, 자기인용 비율) 하에서 인용 네트워크 성장을 모의하여, 인용 증가 현상으로 인해 CD가 점차 0에 수렴함을 보여주는 것.
• 출판 연도에 고정 효과를 적용한 회귀 모델을 사용하여 CD와 팀 규모(k_p) 등의 변수 간 관계를 분석하여, 시간에 따른 혼동 요인으로 인해 기인한 잘못된 상관관계를 규명하는 것.
• 다양한 편향에 강건한 문헌정보학적 지표의 테스트를 가능하게 하기 위해 합성 인용 네트워크의 앙상블(DryadDisruption2023)을 개발하고 배포하는 것.
• 참고문헌 목록 수 제한의 효과를 평가하기 위한 정책 시뮬레이션 프레임워크를 도입하는 것.

Figure 1: ‘Citation inflation’ attributable to the increasing number and length of reference lists. (a) Schematic illustrating the inflation of the reference supply owing to the fact that the annual publication rate $n(t)$ (comprised of increasing diversity of article lengths), along with the number

실험 결과

연구 질문

• RQ1 시간이 지남에 따라 관찰된 파급 지수(CD)의 감소는 실제로 과학적 혁신의 변화를 반영하는가, 아니면 인용 증가 현상에 의한 산물인가?
• RQ2 증가하는 참고문헌 목록 길이와 증가하는 자기인용 비율이 파급 지수에 시간적 편향을 유도하는 방식은 어떠한가?
• RQ3 인용 네트워크의 시간에 따라 변화하는 구조적 특성가 존재하는 바, 파급 지수를 연구 평가에서 시간 간 비교에 신뢰성 있게 사용할 수 있는가?
• RQ4 참고문헌 목록 수 제한과 같은 정책적 조치가 인용 증가 현상을 효과적으로 줄이고, 문헌정보학적 지표의 안정성을 높일 수 있는가?
• RQ5 팀 규모나 인용 수와 같은 시간에 따라 변화하는 혼동 변수들이 파급 지수와 어떻게 상호작용하는가, 그리고 이는 인과적 추론에 어떤 영향을 미치는가?

주요 결과

• 파급 지수(CD)는 인용 증가 현상으로 인해 시간이 지남에 따라 체계적으로 편향되며, 이로 인해 CD가 감소하는 것은 과학적 혁신 감소를 반영하는 것이 아니라 인용 네트워크의 구조적 변화 때문임을 규명하였다.
• 참고문헌 목록 길이(r_p)의 증가만으로도 인용 증가 현상에 기여하며, 웹 오브 사이언스 네트워크의 총 인용량은 연간 5.1% 증가하고 있다(g_C = g_n + g_r = 0.033 + 0.018).
• 증가하는 네트워크의 조밀도와 삼중 클로징 현상, 특히 자기인용에 의한 정착도(N_j) 측정의 과대평가로 인해 파급 지수는 시간이 지남에 따라 0에 수렴한다. 이는 파급 지수(CD_p)의 왜곡을 초래한다.
• 실증 분석 결과, CD_p와 팀 규모(k_p) 사이에 정적 상관관계가 존재함을 확인하였으며, 이는 이전 연구에서 보고된 부정적 상관관계와 정반대이다. 이는 시간에 따라 변화하는 혼동 요인이 인과적 주장의 타당성을 무너뜨림을 시사한다.
• 컴퓨터 시뮬레이션 결과, 특히 논문 페이지 수 기반 소프트 캡을 적용한 참고문헌 목록 수 제한이 인용 증가 현상을 효과적으로 줄이고 평가 지표의 안정성을 높일 수 있음을 입증하였다.
• 연구자들은 다른 편향에 강건한 문헌정보학적 지표의 테스트를 가능하게 하기 위해 합성 인용 네트워크 앙상블(DryadDisruption2023)을 배포하였다.

Figure 2: Empirical analysis of the disruption index. (a) Schematic of the disruption index calculation based upon the sub-network revolving around the source publication/patent $p$ . The disruption index $CD_{p}$ can be calculated by identifying three non-overlapping subsets of $\{c\}_{p}=\{c\}_{i}