[論文レビュー] Towards a new crown indicator: An empirical analysis

Ludo Waltman, Nees Jan van Eck+3 more|arXiv (Cornell University)|Apr 9, 2010

scientometrics and bibliometrics research参考文献 16被引用数 5

ひとこと要約

本稿は、引用ベースの研究業績指標における2つの正規化手法を実証的に比較している：現在のCWTSクラウン指標（CPP/FCSm）と、分野および年次正規化された引用率に基づく提案された新しい指標（MNCS）。MNCS指標はすべての出版物を同等に扱い、重み付けバイアスを回避するが、高い集計水準（例：国、機関）ではCPP/FCSmとほとんど差がない一方、低い水準（例：研究グループ、学術誌）では、特に低引用数の新規出版物がノイズを引き起こすため、顕著な差が生じる。

ABSTRACT

We present an empirical comparison between two normalization mechanisms for citation-based indicators of research performance. These mechanisms aim to normalize citation counts for the field and the year in which a publication was published. One mechanism is applied in the current so-called crown indicator of our institute. The other mechanism is applied in the new crown indicator that our institute is planning to adopt. We find that at high aggregation levels, such as at the level of large research institutions or at the level of countries, the differences between the two mechanisms are very small. At lower aggregation levels, such as at the level of research groups or at the level of journals, the differences between the two mechanisms are somewhat larger. We pay special attention to the way in which recent publications are handled. These publications typically have very low citation counts and should therefore be handled with special care.

研究の動機と目的

• 現在のCWTSクラウン指標（CPP/FCSm）を、正規化された引用率に基づく新しい正規化メカニズム（MNCS）に置き換える実証的影響を評価すること。
• 2つの正規化メカニズムの差が、研究グループ、機関、国、学術誌など、さまざまな集計水準における業績ランク付けにどのように影響するかを評価すること。
• 最近刊行された出版物、特に低引用数のものがあらゆる年齢にかかわらず同等に扱われるMNCS指標に与える影響を調査すること。
• 最近刊行された出版物を除外することで、伝統的なCPP/FCSmと新しいMNCS指標との整合性が向上するかどうかを特定すること。

提案手法

• 本研究では、伝統的なCPP/FCSm（実際の引用数の合計を期待引用数の合計で割ったもの）と、新しいMNCS（実際の引用数と期待引用数の比率の平均）という2つの正規化メカニズムを比較している。
• 分析は、研究グループ、研究機関、国、学術誌の4つの集計水準で実施され、Web of Scienceデータベースからの実証的引用データが使用された。
• MNCS指標は2つのバージョンで計算された：MNCS1はすべての出版物を含み、MNCS2は1年未満の引用履歴を持つ出版物を除外した。
• 両指標のパフォーマンスは、データセット間でのランク付けと相関係数の比較を通じて評価され、特に最近刊行された出版物が原因となる差異の特定に注目した。
• 相関分析とランク類似度指標を用いた統計的比較により、CPP/FCSmと2つのMNCSバージョンとの整合性を評価した。
• 極端な事例、例えば引用パターンが著しく偏った学術誌（例：Acta Crystallographica Section A）を検討し、高引用数の外れ値が指標に与える影響を理解した。

実験結果

リサーチクエスチョン

• RQ1 研究グループ、機関、国、学術誌などの異なる集計水準において、CPP/FCSmとMNCS指標の業績ランク付けはどのように比較されるか？
• RQ2 2つの正規化メカニズムの差が、低引用数の新規出版物の扱いに起因する程度はどの程度か？
• RQ3 1年未満の引用履歴を持つ出版物を除外することで、CPP/FCSmとMNCS指標との整合性はどのように変化するか？
• RQ4 なぜ一部の学術誌ではCPP/FCSmとMNCS1のスコアに大きな差が生じる一方、他の学術誌ではMNCS2と強い整合性を示すのか？
• RQ5 Acta Crystallographica Section Aは、3つの指標で著しく異なるスコアを示すが、その理由は何か？

主な発見

• 国や大規模な研究機関などの高い集計水準では、CPP/FCSmとMNCS指標はほぼ同一のランク付けを示し、スコアの差は最小限にとどまる。
• 研究グループや学術誌などの低い集計水準では、CPP/FCSmとMNCS指標の差が顕著に現れ、とくに引用パターンが極端な学術誌において顕著である。
• 学術誌Acta Crystallographica Section Aは、CPP/FCSmスコアが17.68、MNCS1スコアが32.28、MNCS2スコアが2.14であり、2008年に刊行された1件の高引用数論文が原因である。
• 1年未満の引用履歴を持つ出版物を除外することで、CPP/FCSmとMNCS指標間の相関が顕著に向上し、特に研究グループおよび学術誌レベルで顕著である。
• MNCS1指標は最近刊行の高インパクト出版物により感受性が高く、MNCS2指標はそのような出版物を除外するためノイズが低減されるが、長期的インパクトを正しく反映しない可能性がある。
• 本研究の結論として、2つの指標の差は、MNCSフレームワークで同等に扱われる低引用数の新規出版物が原因で生じるノイズに起因する部分がある。