[論文レビュー] How to evaluate universities in terms of their relative citation impacts: Fractional counting of citations and the normalization of differences among disciplines

Loet Leydesdorff, Jung Cheol Shin|arXiv (Cornell University)|Oct 12, 2010

scientometrics and bibliometrics research参考文献 39被引用数 7

ひとこと要約

本稿では、分野ごとの引用行動の違いを補正することで、多様な分野にまたがる大学の評価をより公平に行うため、引用の分数法によるカウントを提案している。7つの韓国大学のデータを用いて、分数法が順位付けの正確性を向上させ、ネットワーク可視化によって引用者集団の違いを明らかにした。これは、多様な研究分野にまたがる大学の研究パフォーマンスをより公平に評価するための基準となる。

ABSTRACT

Fractional counting of citations can improve on ranking of multi-disciplinary research units (such as universities) by normalizing the differences among fields of science in terms of differences in citation behavior. Furthermore, normalization in terms of citing papers abolishes the unsolved questions in scientometrics about the delineation of fields of science in terms of journals and normalization when comparing among different journals. Using publication and citation data of seven Korean research universities, we demonstrate the advantages and the differences in the rankings, explain the possible statistics, and suggest ways to visualize the differences in (citing) audiences in terms of a network.

研究の動機と目的

• 学術分野の引用行動に差がある中で、多様な研究プロファイルを有する大学を比較する課題に取り組む。
• 医学科など高い引用頻度を示す分野に有利に働く伝統的な引用指標の限界を克服し、引用頻度が低い分野（例：数学）を評価する。
• ジャーナルベースの分野区分に依存せずに、分野ごとの引用行動の差を考慮した引用インパクトの正規化手法を開発する。
• 多様な研究分野にまたがる環境における機関の研究パフォーマンスをより公平かつ透明性の高い方法で評価する。
• 引用パターンのネットワーク分析を用いて、大学間での引用者集団の違いを可視化する。

提案手法

• 各引用を、その論文のすべての著者に均等に分配する分数法による引用カウントを適用し、著者所属機関に基づきさらに引用を機関ごとに分配する。
• 7つの韓国研究大学の出版および引用データを用いて、各機関ごとの正規化済み引用スコアを算出する。
• 分野ごとの引用行動に応じた調整を分数法により行い、分野レベルの引用頻度の差によるバイアスを低減する。
• 引用機関のネットワーク表現を構築し、大学間での引用者集団の多様性と分布を可視化する。
• 分数法による順位付けと従来の引用ベース順位付けを比較し、公平性および正確性の向上を評価する。
• 統計的分析を用いて、提案手法の妥当性と一貫性が、異なる機関のプロファイルや研究分野においても保たれることを評価する。

実験結果

リサーチクエスチョン

• RQ1 多様な研究プロファイルを有する大学間で、学術分野ごとの差を考慮して引用インパクトをどのように公平に比較できるか？
• RQ2 分数法による引用カウントは、分野特有の引用行動によるバイアスを、機関評価においてどの程度低減するか？
• RQ3 多様な分野にまたがる機関において、分数法による順位付けと従来の引用ベース順位付けにはどのような差が生じるか？
• RQ4 引用パターンのネットワーク可視化は、大学間での研究出力の影響範囲や対象読者に有意義な差を明らかにできるか？
• RQ5 ジャーナルではなく、引用された論文に基づく正規化が、引用指標の信頼性および妥当性に与える影響は何か？

主な発見

• 分数法は、学術分野ごとの引用行動の差を考慮することで、機関順位付けにおけるバイアスを顕著に低減する。
• 従来の引用指標と比較して、多様な分野にまたがる大学の順位付けがよりバランスが取れ、公平性が向上する。
• 引用頻度が低い分野（例：人文学や数学）で優れたパフォーマンスを示す大学は、分数法では標準的引用数よりも顕著に評価されやすくなる。
• 引用パターンのネットワーク可視化により、大学間で引用者集団の範囲や構成に顕著な差が明らかになり、研究の可視性や多分野的インパクトの違いが浮き彫りになる。
• ジャーナル分類による任意の分野区分を排除することで、引用に基づく指標の透明性が向上する。
• 本研究は、異種の研究ポートフォリオを有する機関同士を比較する際、分数法による順位付けがより一貫性があり、解釈しやすい結果をもたらすことを示した。