[論文レビュー] Inconsistencies of Recently Proposed Citation Impact Indicators and how to Avoid Them

Michael Schreiber|arXiv (Cornell University)|Feb 17, 2012

scientometrics and bibliometrics research参考文献 9被引用数 4

ひとこと要約

本稿は、最近提案された2つのキャシオンインパクト指標、I3(6PR) および R(6,k) に著しい不整合性が存在することを特定した。特に、小規模データセットにおいて、微小なデータ変更が順位の急激な変動を引き起こす原因は、パーセンタイルランククラスへの不適切な重み付けにある。著者らは、厳密な独立性と安定性を保証するための分数スコアルールと調整された重み付けを提案し、不整合性を顕著に低減するとともに、分野差に敏感であることを維持した。

ABSTRACT

It is shown that under certain circumstances in particular for small datasets the recently proposed citation impact indicators I3(6PR) and R(6,k) behave inconsistently when additional papers or citations are taken into consideration. Three simple examples are presented, in which the indicators fluctuate strongly and the ranking of scientists in the evaluated group is sometimes completely mixed up by minor changes in the data base. The erratic behavior is traced to the specific way in which weights are attributed to the six percentile rank classes, specifically for the tied papers. For 100 percentile rank classes the effects will be less serious. For the 6 classes it is demonstrated that a different way of assigning weights avoids these problems, although the non-linearity of the weights for the different percentile rank classes can still lead to (much less frequent) changes in the ranking. This behavior is not undesired, because it can be used to correct for differences in citation behavior in different fields. Remaining deviations from the theoretical value R(6,k) = 1.91 can be avoided by a new scoring rule, the fractional scoring. Previously proposed consistency criteria are amended by another property of strict independence which a performance indicator should aim at.

研究の動機と目的

• 最近のキャシオンインパクト指標、特に I3(6PR) および R(6,k) が微小なデータ摂動にさらされた場合の不安定性を調査すること。
• 小規模データセットにおける順位の不規則な挙動の根本的要因を特定すること、特に6つのパーセンタイルランククラスにおける論文の同順位と非一様な重み付けに起因するものである。
• 分野差に応じたキャシオン行動に感応性を保ちつつ、順位の不整合性を排除できるように、再設計されたスコアルール（分数スコアルール）を提案すること。
• 微小なデータ変更に伴い順位が恣意的に変動しないように、性能指標の整合性基準を強化するため、厳密な独立性という性質を導入すること。

提案手法

• I3(6PR) および R(6,k) において、1通の論文や1件のキャシオンの追加・削除によって、研究者の順位が完全に逆転する3つの具体的な例を分析する。
• 不整合の原因を、6つのパーセンタイルランククラスへの非線形的かつ恣意的な重み付け、特に同順位の論文に対するものにさかのぼる。
• 割合に応じたキャシオンシェアに基づいて重みを割り当てる分数スコアルールを提案し、不安定性を低減するとともに、分野差に感応性を維持する。
• 理論的期待値 R(6,k) = 1.91 の修正を、残存するずれを解消するためのスコアリングメカニズムの調整によって実現する。
• 微小なデータ摂動に伴う順位の安定性を保証するため、性能指標に「厳密な独立性」という新しい基準を導入する。
• シミュレーションと分析的推論を用いて、さまざまなデータセットサイズとキャシオンパターンにおいて、標準的スコアリングと分数スコアリングを比較する。

実験結果

リサーチクエスチョン

• RQ1 なぜ I3(6PR) および R(6,k) のキャシオンインパクト指標は、小規模データセットがわずかに変更されると、不規則な挙動を示すのか？
• RQ2 6クラスシステムにおいて、パーセンタイルランククラス内で論文が同順位となる場合、なぜ順位の不安定性が生じるのか？
• RQ3 分野差に感応性を保ちつつ、順位の不整合性を排除できるように、再設計されたスコアルールを設計できるか？
• RQ4 厳密な独立性という性質を、キャシオンインパクト指標において形式的に定義し、実装する方法は何か？
• RQ5 提案された変更によって、理論的 R(6,k) = 1.91 値からのずれはどの程度低減されるのか？

主な発見

• I3(6PR) および R(6,k) 指標は、小規模データセットにおいて顕著な順位の不整合性を示しており、テスト例では微小なデータ変更により順位が完全に逆転する。
• 不整合の根本的要因は、6つのパーセンタイルランククラスへの恣意的かつ非線形的な重み付け、特に同順位の論文に対するものにある。
• 提案された分数スコアルールは、データ摂動に対する順位のフラクチュエーションを顕著に低減し、より高い安定性を実現する。
• 新しいスコアルールにより、観察された R(6,k) 値は理論的期待値 1.91 に著しく近づき、残存するずれが完全に解消された。
• 厳密な独立性という基準の導入により、データがわずかに変更されても、性能指標が堅牢で信頼性あるものであることが保証された。