[論文レビュー] Normalization, CWTS indicators, and the Leiden Rankings: Differences in citation behavior at the level of fields

Loet Leydesdorff, Tobias Opthof|arXiv (Cornell University)|Mar 21, 2010

scientometrics and bibliometrics research参考文献 32被引用数 6

ひとこと要約

この論文は、査読インパクト指標における分野別正規化の批判を行い、分野固有の引用行動を考慮に入れるため、分数引用カウント（FracC）が優れた代替手段であると主張している。FracCは、分野間比較におけるバイアスを解消し、学問分野を越えて研究実績をより正確かつ一貫性を持って評価するためのより優れた方法であることを示している。

ABSTRACT

Van Raan et al. (2010; arXiv:1003.2113) have proposed a new indicator (MNCS) for field normalization. Since field normalization is also used in the Leiden Rankings of universities, we elaborate our critique of journal normalization in Opthof & Leydesdorff (2010; arXiv:1002.2769) in this rejoinder concerning field normalization. Fractional citation counting thoroughly solves the issue of normalization for differences in citation behavior among fields. This indicator can also be used to obtain a normalized impact factor.

研究の動機と目的

• 『ライデンランキング』で用いられるようなインパクト指標における分野別正規化の妥当性と信頼性に疑問を呈すること。
• 学術分野間で異なる引用行動の差が、分野を越えた研究実績比較に歪みをもたらすという、長年の問題を扱うこと。
• 既存の正規化手法の代替手段として、分数引用カウント（FracC）をより強固で理論的に整合性のある代替手段として提唱すること。
• FracCが、多様な科学分野における研究出力の公平かつ一貫性のあるベンチマーク評価を可能にすることを示すこと。
• FracCに基づく正規化インパクトファクターの方法論的基盤を提供し、機関および個人の実績評価の正確性を向上させること。

提案手法

• 分野および関係機関ごとに引用を割合配分することで、引用インパクトを正規化する手法として分数引用カウント（FracC）を提唱すること。
• 異なる科学分野における引用行動の差を補正する正規化インパクトファクターをFracCを用いて算出すること。
• FracCを、ヴァン・ラーンら（2010）が提唱したMNCS指標を含む、従来の分野別正規化手法と比較すること。
• 理論的および実証的分析を通じて、FracCがジャーナルベースの正規化によって生じるバイアスを回避することを示すこと。
• 各分野の平均的引用行動に応じて引用数が調整されるよう、分野レベルの引用データの使用を強調すること。
• FracCが、任意の正規化パrameterを必要とせず、分野固有の引用文化を内生的に反映するため、理論的に優れていると主張すること。

実験結果

リサーチクエスチョン

• RQ1 学術分野間での引用行動の違いが、研究評価指標の公平性にどのように影響するか？
• RQ2 MNCSのような指標を用いた分野別正規化は、分野間研究比較の正確性をどの程度向上させるか？
• RQ3 分数引用カウント（FracC）は、現在の正規化手法の代替手段として、より信頼性があり一貫性があるものとできるか？
• RQ4 FracCは、ジャーナルまたは分野正規化された引用指標と比較して、理論的および実務的利点をどのように有するか？
• RQ5 FracCを用いて、多様な科学的分野にわたる公平なベンチマーク評価を保証する正規化インパクトファクターをどのように導出できるか？

主な発見

• 分数引用カウント（FracC）は、機関および分野ごとに引用を割合配分することで、分野間の引用行動の差を効果的に解消する。
• 本研究では、FracCがMNCSのような分野別正規化手法よりも、より一貫性があり理論的に妥当な引用インパクト正規化手法であることが判明した。
• ジャーナルレベルのデータに基づく分野正規化は、実際の引用配分を反映しないため歪みを生じるが、FracCはこれを回避する。
• 著者らは、FracCを用いることで、分野を越えて真の研究実績を反映する信頼性の高い正規化インパクトファクターを導出可能であることを示した。
• MNCSおよび他の正規化手法の批判を通じて、それらが引用ネットワークの真の構造や分野固有の実践を十分に反映していないことが明らかになった。
• 特に多様な分野にまたがる研究文脈において、FracCはより強固で透明性の高い機関評価手法であることが示された。