[論文レビュー] The convergent validity of several (field-normalized) bibliometric indicators: How well does I3 perform for impact measurement?

Lutz Bornmann, Alexander Tekles+1 more|arXiv (Cornell University)|Jan 1, 2019

scientometrics and bibliometrics research被引用数 1

ひとこと要約

本研究では、分野別正規化された文献計測指標としての統合的インパクト指標（I3）の収束妥当性を評価する。I3は、出版分野と出版年における各出版物のパーセンタイルランクに基づいてキャリテーションを重みづけする。F1000Primeの投稿後レビュー（post-publication peer reviews）をゴールドスタンダードとして用い、I3は他の分野別正規化指標と同等またはやや優れた性能を示した。特にPPtop 1%が、質の水準間の区別能力が最も強かった。

ABSTRACT

Recently, the integrated impact indicator (I3) indicator was introduced where citations are weighted in accordance with the percentile rank class of each publication in a set of publications. I3 can be used as a field-normalized indicator. Field-normalization is common practice in bibliometrics, especially when institutions and countries are compared. Publication and citation practices are so different among fields that citation impact is normalized for cross-field comparisons. In this study, we test the ability of the indicator to discriminate between quality levels of papers as defined by Faculty members at F1000Prime. F1000Prime is a post-publication peer review system for assessing papers in the biomedical area. Thus, we test the convergent validity of I3 (in its size-independent variant) using assessments by peers as baseline and compare its validity with several other (field-normalized) indicators: the mean-normalized citation score (MNCS), relative-citation ratio (RCR), citation score normalized by cited references (CSNCR), characteristic scores and scales (CSS), source-normalized citation score (SNCS), citation percentiles, and proportion of papers which belong to the x% most frequently cited papers (PPtop x%). The results show that the PPtop 1% indicator discriminates best among different quality levels. I3 performs similar as (slightly better than) most of the other field-normalized indicators. Thus, the results point out that the indicator could be a valuable alternative to other indicators in bibliometrics.

研究の動機と目的

• 統合的インパクト指標（I3）が研究インパクトの分野別正規化測定として収束妥当性を有するかを評価すること。
• I3の性能を、バイオメディスン分野の研究論文の質の水準を区別する観点から、既存の分野別正規化文献計測指標と比較すること。
• I3がF1000Primeの教員レビューによる評価に基づくペアレビューによる質の評価を的確に捉えられるかを評価すること。
• I3が、分野をまたぐ比較において、既存のインパクト指標の価値ある代替手段であるかを特定すること。

提案手法

• I3は、出版分野と出版年における各出版物のパーセンタイルランクに応じてキャリテーションを重みづける、サイズ独立型の分野別正規化指標として適用された。
• バイオメディスン分野における投稿後レビュー制度であるF1000Primeのレビュー評価を、質の評価基準として用いた。
• I3の性能は、7つの他の分野別正規化指標（MNCS、RCR、CSNCR、CSS、SNCS、キャリテーションパーセンタイル、PPtop x%）と比較された。
• 収束妥当性は、各指標の順位付けとF1000Primeレビューによる質の水準との相関を測定することで評価された。
• 統計的分析により、各指標がペアレビューで定義された明確な質の水準をどれだけ区別できるかの能力が評価された。
• 公平な比較を確保するため、本研究ではI3のサイズ独立型バージョンに焦点を当てた。

実験結果

リサーチクエスチョン

• RQ1 I3指標は、F1000Primeが測定するペアレビューによる研究質とどの程度相関しているか？

主な発見

• PPtop 1%指標が、F1000Primeのレビュー担当教員が定義する異なる質の水準を区別する能力が最も強かった。
• I3は、他の多くの分野別正規化指標と同等またはわずかに優れた収束妥当性を示した。
• I3は多様な出版分野で堅実な性能を示し、分野をまたぐインパクト評価への可能性を示した。
• 本研究は、分野別正規化指標（I3を含む）が、異なる分野間での研究インパクト比較に有効なツールであることを確認した。
• 評価された指標の中で、PPtop 1%が最高の区別能力を示し、高インパクト研究の最も信頼できる代理指標である可能性を示唆した。
• I3の性能は、研究評価の文脈において、既存の文献計測指標の実用的代替手段としての利用価値を裏付けた。