[論文レビュー] What do we know about the disruption index in scientometrics? An overview of the literature

Christian Leibel, Lutz Bornmann|arXiv (Cornell University)|Aug 4, 2023

scientometrics and bibliometrics research参考文献 77被引用数 6

ひとこと要約

本論文は科学計測学における破壊的インデックス（DI1）およびその変種について包括的なレビューを提供し、その技術的特性、妥当性、限界を分析している。DI1は科学政策研究分野で人気が高まっているが、DI5のような変種はより強い収束妥当性を示しており、これらのインデックスは時間依存性およびデータ由来のバイアスを強く受けるため、慎重な適用と、破壊的という理論的構造に関するさらなる研究が不可欠である。

ABSTRACT

The purpose of this paper is to provide a review of the literature on the original disruption index (DI1) and its variants in scientometrics. The DI1 has received much media attention and prompted a public debate about science policy implications, since a study published in Nature found that papers in all disciplines and patents are becoming less disruptive over time. This review explains in the first part the DI1 and its variants in detail by examining their technicaland theoretical properties. The remaining parts of the review are devoted to studies that examine the validity and the limitations of the indices. Particular focus is placed on (1) possible biases that affect disruption indices (2) the convergent and predictive validity of disruption scores, and (3) the comparative performance of the DI1 and its variants. The review shows that, while the literature on convergent validity is not entirely conclusive, it is clear that some modified index variants, in particular DI5, show higher degrees of convergent validity than DI1. The literature draws attention to the fact that (some) disruption indices suffer from inconsistency, time-sensitive biases, and several data-induced biases. The limitations of disruption indices are highlighted and best practice guidelines are provided. The review encourages users of the index to inform about the variety of DI1 variants and to apply the most appropriate variant. More research on the validity of disruption scores as well as a more precise understanding of disruption as a theoretical construct is needed before the indices can be used in the research evaluation practice.

研究の動機と目的

• 科学計測学における破壊的インデックス（DI1）およびその変種に関する文献を体系的にレビューすること。
• DI1およびその変種形の技術的および理論的特性を検討すること。
• 研究評価における破壊的インデックスに影響を及ぼす妥当性、限界、バイアスを評価すること。
• 実証的研究における破壊的インデックスの使用に関する最良の実践ガイドラインを提供すること。
• 現在の研究におけるギャップを特定し、破壊的指標の概念的・方法論的基盤を改善するための今後の方向性を提案すること。

提案手法

• 2017年以降に発表されたDI1およびその変種に関する査読付き文献を体系的にレビューすること。
• DI1およびその変種の数学的定式化を分析し、引用期間の選定およびしきい値戦略を含むこと。
• 多様な科学分野からの実証的研究を用いて、破壊的スコアの収束妥当性および予測妥当性を評価すること。
• 時間依存性、引用期間依存性、データ由来バイアスを含む、破壊的インデックスに影響を及ぼすバイアスを同定・分類すること。
• 実証的証拠に基づき、変種間（例：DI1、DI5、mED(rel)、Origbase）の妥当性および信頼性の観点から性能を比較すること。
• 研究者および評価者による適切な変種の選定および適用に関する透明性があり根拠に基づいた推奨事項を提供すること。

実験結果

リサーチクエスチョン

• RQ1 オリジナルの破壊的インデックス（DI1）およびその変種の技術的および理論的特性は何か？
• RQ2 破壊的インデックスは、異なる科学分野においてどの程度収束妥当性および予測妥当性を示すか？
• RQ3 破壊的スコアの信頼性および一貫性に影響を及ぼす主なバイアスは何か？
• RQ4 DI5などの異なる破壊的インデックスの変種は、妥当性および頑健性の観点からどのように比較できるか？
• RQ5 時間依存性および引用期間の選定は、破壊的インデックスを用いた縦断的研究にどのような意味を持つのか？

主な発見

• DI5はオリジナルのDI1に比べてより高い収束妥当性を示しており、より信頼できる変種である可能性がある。
• 破壊的インデックスは時間依存性バイアスの影響を強く受けており、これは歴史的比較やトレンド分析を歪める可能性がある。
• 引用期間の選定や最小引用数しきい値といったデータ由来バイアスは、破壊的スコアの一貫性および妥当性を損なう可能性がある。
• 文献によると、破壊的スコアは従来の引用インパクトと強く相関しており、インパクト指標が破壊的業績を特定できないという仮定に疑問を呈している。
• 破壊的スコアと特定の種類の新規性との関係についての合意がなく、理論的または手法的革新が破壊的要因を駆動するかどうかについては矛盾した結果が得られている。
• 今後の研究では、『破壊的』という概念の理論的定義を明確にする必要があり、mED(rel) や Origbase といったあまり知られていない変種が多様な研究文脈でどのように機能するかを検討する必要がある。