[논문 리뷰] What do we know about the disruption index in scientometrics? An overview of the literature

Christian Leibel, Lutz Bornmann|arXiv (Cornell University)|2023. 08. 04.

scientometrics and bibliometrics research참고 문헌 77인용 수 6

한 줄 요약

이 논문은 과학지표학에서의 붕괴지수(DI1) 및 그 변형들에 대한 종합적인 검토를 제공하며, 기술적 성질, 타당성 및 한계를 분석한다. DI1은 과학 정책 연구 분야에서 인기를 얻었지만, DI5와 같은 변형들은 더 강한 공변태도 타당성을 보이며, 이 지수들은 시간에 민감하고 데이터에 의해 유도되는 편향을 겪고 있어 신중한 적용과 붕괴 개념 자체에 대한 추가 연구가 필요하다고 결론내린다.

ABSTRACT

The purpose of this paper is to provide a review of the literature on the original disruption index (DI1) and its variants in scientometrics. The DI1 has received much media attention and prompted a public debate about science policy implications, since a study published in Nature found that papers in all disciplines and patents are becoming less disruptive over time. This review explains in the first part the DI1 and its variants in detail by examining their technicaland theoretical properties. The remaining parts of the review are devoted to studies that examine the validity and the limitations of the indices. Particular focus is placed on (1) possible biases that affect disruption indices (2) the convergent and predictive validity of disruption scores, and (3) the comparative performance of the DI1 and its variants. The review shows that, while the literature on convergent validity is not entirely conclusive, it is clear that some modified index variants, in particular DI5, show higher degrees of convergent validity than DI1. The literature draws attention to the fact that (some) disruption indices suffer from inconsistency, time-sensitive biases, and several data-induced biases. The limitations of disruption indices are highlighted and best practice guidelines are provided. The review encourages users of the index to inform about the variety of DI1 variants and to apply the most appropriate variant. More research on the validity of disruption scores as well as a more precise understanding of disruption as a theoretical construct is needed before the indices can be used in the research evaluation practice.

연구 동기 및 목표

• 2017년 이후 출판된 DI1 및 그 변형들에 관한 학술 논문을 체계적으로 검토하는 것.
• DI1 및 그 수정된 형태의 기술적 및 이론적 성질을 검토하는 것.
• 연구 평가에서 붕괴지수에 영향을 미치는 타당성, 한계 및 편향을 평가하는 것.
• 실증 연구에서 붕괴지수를 사용하는 데 있어 최선의 실천 가이드라인을 제공하는 것.
• 현재 연구의 격차를 특정하고 붕괴 지표의 개념적 및 방법론적 기초를 향상시키기 위한 향후 방향을 제안하는 것.

제안 방법

• 2017년 이후 출판된 DI1 및 그 변형들에 관한 동료심사 논문을 체계적으로 검토하는 것.
• DI1 및 그 변형들의 수학적 공식, 인용 윈도우 선택 및 임계값 설정 전략을 분석하는 것.
• 다양한 과학 분야의 실증 연구를 활용하여 붕괴점수의 공변태도 및 예측 타당성을 평가하는 것.
• 시간 민감성, 인용 윈도우 의존성, 데이터에 기인한 편향을 포함한 붕괴지수에 영향을 미치는 편향을 식별하고 분류하는 것.
• 실증 증거를 바탕으로 DI1, DI5, mED(rel), Origbase 등의 변형들 간의 성능을 비교하는 것.
• 연구자 및 평가자들이 가장 적절한 변형을 선택하고 적용하는 데 있어 투명하고 증거 기반의 권고를 제공하는 것.

실험 결과

연구 질문

• RQ1 기본 붕괴지수(DI1) 및 그 변형들의 기술적 및 이론적 성질은 무엇인가?
• RQ2 다양한 과학 분야에서 붕괴지수는 어느 정도의 공변태도 및 예측 타당성을 보여주는가?
• RQ3 붕괴점수의 신뢰성과 일관성에 영향을 미치는 주요 편향은 무엇인가?
• RQ4 DI5와 같은 다른 붕괴지수 변형들은 타당성과 강건성 측면에서 어떻게 비교되는가?
• RQ5 시간 민감성과 인용 윈도우 선택은 붕괴지수를 사용하는 종단적 연구에 어떤 영향을 미치는가?

주요 결과

• DI5는 원래 DI1보다 더 높은 수준의 공변태도 타당성을 보이며, 더 신뢰할 수 있는 변형일 수 있음을 시사한다.
• 붕괴지수들은 시간에 민감한 편향의 영향을 크게 받으며, 이는 역사를 기반으로 한 비교 분석과 추세 분석을 왜곡시킬 수 있다.
• 인용 윈도우 선택 및 최소 인용 기준과 같은 데이터에 기인한 편향은 붕괴점수의 일관성과 타당성을 손상시킬 수 있다.
• 문헌에 따르면 붕괴점수는 전통적인 인용 영향도와 상당히 상관관계가 있으며, 영향력 있는 작품을 식별할 수 없다는 가정이 의심스럽다.
• 붕괴점수와 특정 유형의 신의성 간의 관계에 대해 의견이 분분하며, 이론적 또는 방법론적 혁신이 붕괴를 이끄는지에 대한 연구 결과는 상반되어 있다.
• 향후 연구는 '붕괴'의 개념적 정의를 명확히 하고, mED(rel) 및 Origbase와 같은 덜 알려진 변형들이 다양한 연구 맥락에서 어떻게 작동하는지 탐색할 필요가 있다.