[論文レビュー] Citation analysis cannot legitimate the strategic selection of excellence

Tobias Opthof, Loet Leydesdorff|arXiv (Cornell University)|Feb 13, 2011

scientometrics and bibliometrics research参考文献 14被引用数 4

ひとこと要約

本論文は、citation analysis（引用分析）を用いて学術的優位性を戦略的に選定することの正当性に疑問を呈し、特に新たに提案された「crown」指標を含む主要な引用指標が、査読済みの質評価と有意な相関を示さないことを示している。ヴァン・ラーン（2006）が公表したデータを用いて、著者らは引用指標が査読に基づく質の指標と一致しないことを示し、高利害な評価意思決定におけるその使用を根底から揺るがしている。

ABSTRACT

In reaction to a previous critique(Opthof & Leydesdorff, 2010), the Center for Science and Technology Studies (CWTS) in Leiden proposed to change their old "crown" indicator in citation analysis into a new one. Waltman et al. (2011)argue that this change does not affect rankings at various aggregated levels. However, CWTS data is not publicly available for testing and criticism. In this correspondence, we use previously published data of Van Raan (2006) to address the pivotal issue of how the results of citation analysis correlate with the results of peer review. A quality parameter based on peer review was neither significantly correlated with the two parameters developed by the CWTS in the past (CPP/JCSm or CPP/FCSm) nor with the more recently proposed h-index (Hirsch, 2005). Given the high correlations between the old and new "crown" indicators, one can expect that the lack of correlation with the peer-review based quality indicator applies equally to the newly developed ones.

研究の動機と目的

• 引用分析指標が学術的優位性の戦略的選定を正当に支援できるかどうかを評価すること。
• 引用ベースの指標と査読ベースの質評価との相関を調査すること。
• 引用分析における新たに提案された「crown」指標が、査読による質判断と整合性を保っているかどうかを評価すること。
• 研究政策および助成金決定における学術的優位性の代理指標として引用指標を使用することの妥当性を疑問視すること。

提案手法

• ヴァン・ラーン（2006）が事前に公表した研究実績および引用指標に関するデータを用いた。
• 査読に基づく質の指標と、CPP/JCSm、CPP/FCSm、およびh-indexを含む複数の引用ベースの指標を比較した。
• 査読から導かれた質のパラメータと、さまざまな引用指標との相関を評価した。
• 従来の引用指標と査読の間の相関が見られないことの、新たに提案された「crown」指標の正当性に与える影響を評価した。
• 統計的分析を用いて、観察された相関の有意性を検証した。
• 旧来の引用指標と高い相関を示す新規「crown」指標の性能を、類似した挙動を示すものと仮定して推定した。

実験結果

リサーチクエスチョン

• RQ1 引用分析指標は、どれほど査読済みの質評価と相関しているか？
• RQ2 引用分析における新たに提案された「crown」指標は、学術的優位性の妥当な代理指標と見なせるか？
• RQ3 従来の引用指標と査読の間の相関欠如は、引用ベースの評価の正当性を揺るがすか？
• RQ4 新しい「crown」指標は、既存の指標と比較して査読による質をどれほど適切に反映しているか？
• RQ5 引用指標と査読の間の弱い相関が、研究評価政策に与える影響は何か？

主な発見

• CWTSが開発したCPP/JCSmおよびCPP/FCSmの引用指標と、査読に基づく質パラメータとの間に有意な相関は認められなかった。
• 査読に基づく質指標は、広く使用されているh-indexとも有意な相関を示さなかった。
• 旧来の「crown」指標と新規の「crown」指標との高い相関を踏まえると、査読と相関がないことは、新たに提案された指標に対しても同様に当てはまることが予想される。
• 研究評価における優位性の戦略的選定の根拠として、引用分析が正当に機能しない可能性を示唆している。
• 本研究は、高利害な意思決定文脈における学術的質の代理指標として引用指標を使用することの妥当性を疑問視している。
• 結果から、引用ベースの評価システムが、専門家パネルによる評価に基づく真の研究の質を体系的に歪めている可能性があると示唆している。