Skip to main content
Nubint
QUICK REVIEW

[論文レビュー] The disruption index is biased by citation inflation

Alexander M. Petersen, Felber Arroyave|arXiv (Cornell University)|Jun 2, 2023
scientometrics and bibliometrics researchDecision Sciences被引用数 3
ひとこと要約

本稿は、引用インフレーション（引用リストの長さの延長と自己引用の増加に起因）によって、破壊インデックス（CD）が系統的なバイアスを受けることを示している。これにより、CDは時間経過とともに誤って低下する。著者らは、このバイアスが時系列比較の有効性を無効にすることを示し、引用リストの上限を設けるなどの政策的対策を提案して、評価指標の安定化を図る。

ABSTRACT

A recent analysis of scientific publication and patent citation networks by Park et al. (Nature, 2023) suggests that publications and patents are becoming less disruptive over time. Here we show that the reported decrease in disruptiveness is an artifact of systematic shifts in the structure of citation networks unrelated to innovation system capacity. Instead, the decline is attributable to 'citation inflation', an unavoidable characteristic of real citation networks that manifests as a systematic time-dependent bias and renders cross-temporal analysis challenging. One driver of citation inflation is the ever-increasing lengths of reference lists over time, which in turn increases the density of links in citation networks, and causes the disruption index to converge to 0. A second driver is attributable to shifts in the construction of reference lists, which is increasingly impacted by self-citations that increase in the rate of triadic closure in citation networks, and thus confounds efforts to measure disruption, which is itself a measure of triadic closure. Combined, these two systematic shifts render the disruption index temporally biased, and unsuitable for cross-temporal analysis. The impact of this systematic bias further stymies efforts to correlate disruption to other measures that are also time-dependent, such as team size and citation counts. In order to demonstrate this fundamental measurement problem, we present three complementary lines of critique (deductive, empirical and computational modeling), and also make available an ensemble of synthetic citation networks that can be used to test alternative citation-based indices for systematic bias.

研究の動機と目的

  • 科学的引用ネットワークにおける引用インフレーションに起因する破壊インデックス（CD）の系統的バイアスを特定・診断すること。
  • CDの時間的低下傾向が、科学的破壊の実際の減少ではなく、引用ネットワークの構造的変化に起因するアーティファクトであることを示すこと。
  • チームサイズや引用数といった時間依存変数と相関する場合に、CDを時系列的分析に用いることの妥当性を疑うこと。
  • 引用リストの上限を設けるなど、引用インフレーションの是正と、図書計測指標の安定化を図るための政策的対策を提案すること。
  • 代替のバイアスに強い引用ベース指標のテストを可能にするために、合成引用ネットワークを提供すること。

提案手法

  • 引用リスト長（r_p）の増加と自己引用による三重閉包が、時間依存バイアスを引き起こす仕組みを、破壊インデックスの数学的構造の帰納的批判によって同定する。
  • 実際の引用ネットワーク（例：Microsoft Academic Graph）を用いた実証的分析により、時間経過に伴うr_pと引用数の増加がCD値の低下と相関することを示す。
  • 計算モデルを用いて、さまざまなパラメータ（例：r_pの増加、自己引用率）の下での引用ネットワーク成長をシミュレートし、引用インフレーションに起因してCDがゼロに収束することを示す。
  • 出版年を固定効果として含む回帰モデルを用いて、CDとチームサイズ（k_p）などの変数との関係を評価し、時間の混同要因に起因する誤った相関関係を明らかにする。
  • 代替のバイアスに強い図書計測指標のテストを可能にするために、合成引用ネットワークのアンサンブル（DryadDisruption2023）を開発・公開する。
  • 引用リストの上限を設ける政策の影響を評価するための政策シミュレーションフレームワークを導入する。
Figure 1: ‘Citation inflation’ attributable to the increasing number and length of reference lists. (a) Schematic illustrating the inflation of the reference supply owing to the fact that the annual publication rate $n(t)$ (comprised of increasing diversity of article lengths), along with the number
Figure 1: ‘Citation inflation’ attributable to the increasing number and length of reference lists. (a) Schematic illustrating the inflation of the reference supply owing to the fact that the annual publication rate $n(t)$ (comprised of increasing diversity of article lengths), along with the number

実験結果

リサーチクエスチョン

  • RQ1時間経過に伴う破壊インデックス（CD）の観察された低下は、科学的イノベーションの実際の変化を反映しているのか、それとも引用インフレーションに起因するアーティファクトなのか、どの程度の影響を受けるか。
  • RQ2引用リスト長の増加と自己引用率の上昇は、破壊インデックスにおける時間的バイアスにどのように寄与しているか。
  • RQ3引用ネットワークの時間依存的構造的シフトを考慮すると、破壊インデックスは研究評価における時系列的比較に信頼性を持って使用できるか。
  • RQ4引用リストの上限を設けるなど、引用インフレーションの是正に効果的な政策的対策は何か。
  • RQ5チームサイズや引用数といった時間に依存する交絡要因は、破壊インデックスとどのように相互作用し、因果推論にどのような影響を及えるか。

主な発見

  • 破壊インデックス（CD）は、引用インフレーションに起因して時間経過とともに系統的にバイアスを受ける。CDの低下は、科学的破壊の減少を反映しているのではなく、引用ネットワークの構造的変化に起因する。
  • 引用リスト長（r_p）の増加そのものが、引用インフレーションに大きく寄与しており、Web of Scienceネットワーク全体の引用総量は年率5.1％（g_C = g_n + g_r = 0.033 + 0.018）で増加している。
  • 引用ネットワークの密度上昇と三重閉包（特に自己引用によるもの）により、破壊インデックスは時間経過とともにゼロに収束する。これは、統合度（N_j）の過大評価と破壊度（CD_p）の歪みを引き起こす。
  • 実証的分析により、CD_pとチームサイズ（k_p）の間には正の相関関係が確認されたが、これは過去の報告とは矛盾しており、時間依存的交絡要因が因果的主張を無効にしていることを示している。
  • 計算シミュレーションにより、引用リストの上限（特に記事のページ数に基づくソフト上限）を設けることで、引用インフレーションの是正と評価指標の安定化が有効に実現可能であることが示された。
  • 著者らは、代替のバイアスに強い図書計測指標のテストを可能にするために、合成引用ネットワークのアンサンブル（DryadDisruption2023）を公開した。
Figure 2: Empirical analysis of the disruption index. (a) Schematic of the disruption index calculation based upon the sub-network revolving around the source publication/patent $p$ . The disruption index $CD_{p}$ can be calculated by identifying three non-overlapping subsets of $\{c\}_{p}=\{c\}_{i}
Figure 2: Empirical analysis of the disruption index. (a) Schematic of the disruption index calculation based upon the sub-network revolving around the source publication/patent $p$ . The disruption index $CD_{p}$ can be calculated by identifying three non-overlapping subsets of $\{c\}_{p}=\{c\}_{i}

より良い研究を、今すぐ始めましょう

論文の読解から最終レビューまで、研究時間を劇的に削減しましょう。

クレジットカード登録不要

このレビューはAIが作成し、人間の編集者が確認しました。