[論文レビュー] Field-normalized Impact Factors: A Comparison of Rescaling versus Fractionally Counted IFs

Loet Leydesdorff, Filippo Radicchi+3 more|arXiv (Cornell University)|Nov 12, 2012

scientometrics and bibliometrics research参考文献 35被引用数 11

ひとこと要約

本稿は、分野別正規化されたインパクトファクターのための2つの手法、クラスタ平均によるスケーリングと寄与数の分数割り当てを比較する。13の科学分野にまたがる3,705冊のジャーナルのデータを用いて、スケーリング手法が、特に引用リストの長さに起因するバイアスを低減し、分野間での引用インパクトスコアの比較可能性を向上させる点で、分数割り当てを上回ることを明らかにした。

ABSTRACT

Two methods for comparing impact factors and citation rates across fields of science are tested against each other using citations to the 3,705 journals in the Science Citation Index 2010 (CD-Rom version of SCI) and the 13 field categories used for the Science and Engineering Indicators of the US National Science Board. We compare (i) normalization by counting citations in proportion to the length of the reference list (1/N of references) with (ii) rescaling by dividing citation scores by the arithmetic mean of the citation rate of the cluster. Rescaling is analytical and therefore independent of the quality of the attribution to the sets, whereas fractional counting provides an empirical strategy for normalization among sets (by evaluating the between-group variance). By the fairness test of Radicchi & Castellano (2012a), rescaling outperforms fractional counting of citations for reasons that we consider.

研究の動機と目的

• 科学的分野を横断したインパクトファクター比較のための2つの分野正規化手法を評価・比較すること。
• 異なる引用習慣に起因する分野間の引用率格差の問題に対処すること。
• スケーリングと分数割り当てのうち、インパクトファクターコンパレーションにおける公平性と正確性をよりよく保つ手法を特定すること。
• 引用分布パターンや参考文献リストの長さの変動に対して、各手法の頑健性を評価すること。
• 研究評価におけるより信頼性の高い文献計測指標のための方法論的基盤を提供すること。

提案手法

• スケーリングは、ジャーナルの引用スコアをその分野クラスタの平均引用率で除算することで、分野固有の引用行動に起因する差を正規化する。
• 分数割り当ては、引用した論文の参考文献リストの長さ（1/N）に反比例する重みを各引用に割り当て、引用を参考文献に割り当てて比例配分する。
• 比較には、米国国立科学財政会議が定義する13の分野に分類された、Science Citation Index 2010の3,705冊のジャーナルからの引用データを用いる。
• スケーリングと分数割り当ての公平性は、Radicchi & Castellano（2012a）が提唱した公平性テストを用いて評価される。このテストは、分野横断的比較におけるバイアス低減の度合いを評価する。
• 分数割り当ての実証的安定性を評価するため、グループ間分散を分析する。
• 分野間での正規化インパクトファクターの統計的比較により、各手法の一貫性と信頼性を評価する。

実験結果

リサーチクエスチョン

• RQ1 スケーリングと分数割り当てのうち、どの手法が科学的分野を横断したインパクトファクター比較においてより信頼性が高く公平であるか？
• RQ2 参考文献リストの長さの違いが、分数割り当てにおける分野正規化インパクトファクターの正確性にどのように影響するか？
• RQ3 スケーリングは、分野横断的引用率比較において、分数割り当てと比較してどれほどバイアスを低減するか？
• RQ4 スケーリングが引用の分野への帰属品質に依存しない分析的独立性を持つことから、分数割り当てよりも頑健であるとされる根拠は何か？
• RQ5 実際の引用データにおいて、Radicchi & Castellano（2012a）の公平性テストに、2つの手法はそれぞれどのように対応するか？

主な発見

• Radicchi & Castellano（2012a）が提唱した公平性テストにおいて、スケーリングが分数割り当てを上回り、分野間でのバイアス低減に優れた性能を示した。
• 分数割り当ては、分野への引用帰属の質に実証的に依存しており、これがばらつきを生じさせ、信頼性を低下させる要因となる可能性がある。
• スケーリングは、参考文献リストの長さや引用分布に分析的に依存しないため、ジャーナル間でより頑健で一貫性がある。
• 引用レートのグループ間分散は、スケーリングによりよりうまく管理されており、分野固有の歪みを分数割り当てよりも効果的に低減する。
• スケーリングは、引用が参考文献に均等に分散されているという仮定に依存しないため、より安定した正規化フレームワークを提供する。
• 結果は、大規模な文献計測分析における分野正規化インパクトファクター計算にスケーリングを推奨する根拠を支持する。