[論文レビュー] Percentile rank scores are congruous indicators of relative performance, or aren't they?

Ronald Rousseau|arXiv (Cornell University)|Aug 9, 2011

Multi-Criteria Decision Making参考文献 23被引用数 8

ひとこと要約

この論文は、適切に定義された場合、パーセンタイル順位スコアが相対的パフォーマンスの整合的指標として機能することを主張し、その応用における曖昧さを解消する。パーセンタイル順位スコアは相対的パフォーマンスに関して整合的である一方、I3指標は絶対的パフォーマンスに関して厳密に整合的であることが示され、文献計測評価指標における概念的違いが明確化される。

ABSTRACT

Percentile ranks and the I3 indicator were introduced by Bornmann, Leydesdorff, Mutz and Opthof. These two notions are based on the concept of percentiles (or quantiles) for discrete data. As several definitions for these notions exist we propose one that we think is suitable in this context. Next we show that if the notion of relative congruous indicators is carefully defined then percentile rank scores are congruous indicators of relative performance. The I3 indicator is a strictly congruous indicator of absolute performance.

研究の動機と目的

• パーセンタイル順位スコアの定義と応用における曖昧さを解消すること。
• 文献計測における相対的パフォーマンス指標と絶対的パフォーマンス指標の概念的違いを明確にすること。
• 離散データとパーセンタイルの文脈における「整合的指標」を形式的に定義すること。
• 適切に定義されたフレームワーク下で、パーセンタイル順位スコアが相対的パフォーマンスに関して整合的であることを示すこと。
• I3指標の絶対的パフォーマンスに対する厳密な整合性と、パーセンタイル順位スコアの相対的整合性を比較すること。

提案手法

• 離散データに対するパーセンタイルの明確な定義を提示し、応用の一貫性を確保する。
• 相対的および絶対的パフォーマンスの文脈に特化した「整合的指標」の形式的フレームワークを導入する。
• フレームワークを用いて、パーセンタイル順位スコアとI3指標の数学的および概念的性質を分析する。
• 論理的および統計的推論を用いて、適切に定義された場合にパーセンタイル順位スコアが相対的パフォーマンスと整合することを示す。
• I3指標の厳密な整合性と、パーセンタイル順位スコアの相対的整合性を対比する。
• 概念的妥当性を確立するために、実証的データではなく理論的分析を用いる。

実験結果

リサーチクエスチョン

• RQ1 適切に定義された分位数フレームワーク下で、パーセンタイル順位スコアは相対的パフォーマンスの整合的指標とみなせるか？
• RQ2 相対的パフォーマンスと絶対的パフォーマンスの文脈における「整合的指標」の概念には、どのような違いがあるか？
• RQ3 文献計測における相対的パフォーマンス評価に用いる際、パーセンタイル順位の定義として最も適切なものは何か？
• RQ4 なぜI3指標は絶対的パフォーマンスに関しては厳密に整合的であるが、相対的パフォーマンスに関してはそうではないのか？
• RQ5 一貫性があり数学的に整合性のあるパーセンタイル順位の定義は、パフォーマンス評価における曖昧さを解消できるか？

主な発見

• パーセンタイル順位スコアは、離散データに対する一貫したパーセンタイルの定義が適用されれば、相対的パフォーマンスの整合的指標である。
• I3指標は絶対的パフォーマンスに関して厳密に整合的であり、性能差の大きさを正確に反映している。
• 本論文は、パーセンタイルの適切な定義、特に離散データの文脈において、整合性が依存することを確立した。
• 過去のパーセンタイル順位スコアの応用における不一致は、定義の不一致または曖昧さに起因する。
• 整合性を形式的に定義すれば、相対的パフォーマンス指標と絶対的パフォーマンス指標の区別は、概念的および数学的に正当である。
• 提案されたフレームワークにより、文献計測におけるパーセンタイル順位スコアをパフォーマンス指標として解釈する際の曖昧さが解消された。