[論文レビュー] Revisiting Relative Indicators and Provisional Truths

Loet Leydesdorff, Tobias Opthof|arXiv (Cornell University)|Aug 29, 2018

scientometrics and bibliometrics research参考文献 19被引用数 4

ひとこと要約

この論文は、現在の統計的手法にとどまらず、科学的評価における相対指標と一時的真実を再考することで、引用インパクト指標の発展を提唱している。著者らは、非パラメトリック手法（例：上位10％の引用数閾値）を統合することで、歪んだ引用分布をより適切に扱うインパクト評価の代替手段を提示し、従来のzスコアや期待引用比よりもより頑健な代替手段を提供する。

ABSTRACT

Following discussions in 2010 and 2011, scientometric evaluators have increasingly abandoned relative indicators in favor of comparing observed with expected citation ratios. The latter method provides parameters with error values allowing for the statistical testing of differences in citation scores. A further step would be to proceed to non-parametric statistics (e.g., the top-10%) given the extreme skewness (non-normality) of the citation distributions. In response to a plea for returning to relative indicators in the previous issue of this newsletter, we argue in favor of further progress in the development of citation impact indicators.

研究の動機と目的

• zスコアに傾倒する傾向が高まる中で、相対指標の使用の再評価を目的とする。
• 引用分布の極端な歪みのため、パラメトリック統計が引用分析に適用される際の限界を解消する。
• より信頼性の高いインパクト評価のため、上位10％の引用数閾値のような非パラメトリック手法への移行を提言する。
• 相対指標への回帰を求める声に応えるべく、統計的頑健性に裏打ちされた、より高度な手法的代替手段を提示する。
• 研究評価文脈における引用インパクト指標の妥当性と解釈可能性を向上させる。

提案手法

• 観察された引用数と期待引用比を比較することで、相対指標の使用を再評価する。
• 期待引用モデルから導かれる誤差値を用いて、引用スコアの差異に対する統計的検定を実施する。
• 引用数の正規分布でない特性のため、非パラメトリック統計の導入を提唱する。
• 上位10％の引用数閾値を、パラメトリック指標の代替としての頑健性を強調する。
• 不確実性と文脈依存性を反映するため、引用分析における一時的真実の概念の活用を強調する。
• 手法的厳密性と、引用インパクト指標の性質に関する認識論的考察を統合する。

実験結果

リサーチクエスチョン

• RQ1 引用分布の非正規性をよりよく反映するため、どのように引用インパクト指標を改善できるか？
• RQ2 科学的評価におけるzスコアや期待引用比の使用にどのような限界があるか？
• RQ3 上位10％の閾値のような非パラメトリック手法が、引用インパクト評価の信頼性をどの程度向上できるか？
• RQ4 相対指標から統計的比率への移行が、なぜ研究評価における方法論的欠陥を引き起こしたのか？
• RQ5 『一時的真実』の概念が、学術的評価における引用指標の解釈可能性をどのように向上させられるか？

主な発見

• 正規性を仮定するパラメトリック統計手法の優位性に伴い、相対指標の使用が不適切に軽視されてきた。
• 引用分布は著しく歪んでおり、zスコアのようなパラメトリック検定は変換を行わなければ統計的に不適切である。
• 上位10％の引用数閾値のような非パラメトリックアプローチは、従来の指標よりもより頑健で解釈しやすい代替手段を提供する。
• 誤差値を伴う期待引用比は統計的基盤を提供するが、非正規性の問題を解決しない。
• 『一時的真実』の概念は、引用インパクト指標の解釈をより洗練され、文脈に応じたものにすることを支援する。
• 研究評価の実践を改善するため、非パラメトリック指標への方法論的転換は、必要かつ実現可能である。