[論文レビュー] Normalizing the measurement of citation performance: Principles for comparing sets of documents

Loet Leydesdorff, Lutz Bornmann+2 more|arXiv (Cornell University)|Jan 20, 2011

Advanced Text Analysis Techniques参考文献 3被引用数 4

ひとこと要約

本稿では、異なる参照集合およびサンプルサイズを有する文書群を公平に評価できるように、パーセンタイルランクを用いた正規化された引用パフォーマンス比較フレームワークを提案する。文書群を単一の母集団のサブサンプルとみなした場合、従来の引用指標は新しい正規化指標と負の相関関係を示すことがあることが示され、引用分析におけるメソドロジカルな一貫性の重要性が浮き彫りになる。

ABSTRACT

Using citation analysis, sets of documents can be compared as independent samples; for example, in terms of average citation counts using potentially different reference sets. From this perspective, the size of samples matters only for the identification of significant differences and estimating margins of error. Using the percentile rank approach, differences among citation distributions can be studied non-parametrically and in a single scheme. Comparison among the sets clarifies that the different sizes of samples affect the weighing of the probabilities and therefore the rankings. We distinguish among (1) the normalization of papers against external reference sets, (2) normalization in terms of frequencies relative to the margin-totals of independent versus dependent samples, and (3) the potentially normative definition of percentile rank classes for the evaluation (e.g., top-1% most highly cited, median, etc.). When the sets to be evaluated are considered as subsamples of a single sample, the consequent citation indicator can be negatively correlated to citation indicators used hitherto.

研究の動機と目的

• 異なるサイズや参照集合を有する文書群を比較する際の引用パフォーマンス評価における不整合を是正すること。
• 正規性や等分散性の仮定を必要としない、非パラメトリックな引用分布比較手法の開発。
• サンプルサイズおよび参照集合の選択が、引用分析における確率重み付けとランク付けに与える影響を明確化すること。
• 分野を跨いで一貫性を持って評価できるように、パーセンタイルランククラス（例：上位1%、メジアン）の標準的・規範的定義を提唱すること。

提案手法

• パーセンタイルランク手法を用いて引用回数を正規化し、独立した文書群間での非パラメトリック比較を可能にする。
• 複数の文書群を単一のプールドサンプルのサブサンプルとみなすことにより、統一された引用指標を導出する。
• クロス集計表における端数合計に基づく頻度ベースの正規化を適用し、サンプルサイズおよび参照集合の差を補正する。
• 外部参照集合正規化、頻度ベース正規化、規範的パーセンタイルクラス定義という3種類の正規化タイプを区別する。
• 統計的推論を用いて、サンプルサイズに依存せずに引用差の有意性および誤差範囲を評価する。
• サブサンプル仮定の下で、従来の引用指標（例：平均引用回数）が新しい正規化指標と負の相関関係を示すことを実証する。

実験結果

リサーチクエスチョン

• RQ1 異なるサイズや参照集合を有する文書群間で、どのようにして公平な引用パフォーマンスを比較できるか？
• RQ2 サンプルサイズおよび参照集合の選択が、引用指標の確率重み付けとランク付けに与える影響は何か？
• RQ3 複数の文書群を単一母集団のサブサンプルとみなすことによって、引用指標の妥当性にどのような影響が生じるか？
• RQ4 パーセンタイルランクを用いて規範的引用カテゴリ（例：上位1%）を定義することの意味は何か？
• RQ5 なぜ従来の引用指標が、新たに提案された正規化指標と負の相関関係を示す可能性があるのか？

主な発見

• パーセンタイルランク手法により、パラメトリック分布の仮定を必要とせず、異なる参照集合間での引用分布の非パラメトリック比較が可能になる。
• サンプルサイズおよび参照集合の違いは、確率重み付けに顕著な影響を与え、結果として引用ランクに影響を及ける。
• 文書群を単一母集団のサブサンプルとみなした場合、新しい引用指標は従来の引用指標と負の相関関係を示すことがある。
• クロス集計表における端数合計を用いた正規化は、独立および従属サンプル間での引用頻度比較に統計的に妥当な手法を提供する。
• パーセンタイルランククラス（例：上位1%）を規範的ベンチマークとして定義することで、引用評価の整合性と公平性が向上する。
• 本研究は、サンプル構成や参照集合のばらつきが適切に考慮されていないと、既存の引用指標が誤解を招く可能性があることを明らかにした。