[論文レビュー] From P100 to P100_: Conception and improvement of a new citation-rank approach in bibliometrics

Lutz Bornmann, Ruediger Mutz|arXiv (Cornell University)|Jul 2, 2013

scientometrics and bibliometrics research参考文献 9被引用数 6

ひとこと要約

本稿では、既存の文献計測指標における限界を是正するための、改善された百分位ベースの引用順位付け手法P100_を提案する。分野ごとの引用影響をより的確に反映するように百分位順位システムを再キャリブレーションすることで、P100_は特に若手研究者や異分野研究に対して、公平性と解釈可能性を高める。

ABSTRACT

Properties of a percentile-based rating scale needed in bibliometrics are formulated. Based on these properties, P100 was recently introduced as a new citation-rank approach (Bornmann, Leydesdorff, & Wang, in press). In this paper, we conceptualize P100 and propose an improvement which we call P100_. Advantages and disadvantages of citation-rank indicators are noted.

研究の動機と目的

• 既存の引用ベースの研究評価指標における一貫性の欠如やバイアスを是正すること。
• 学術的インパクトの百分位ベース順位付けシステムを、より公平かつ解釈可能なものにすること。
• 若手研究者や異分野研究の出版物に対する引用順位の感度を向上させること。
• 強固で分野に依存しない引用順位スケールを特徴づけるべき性質を形式的に定式化すること。
• 概念的・手法的改善を通じて、P100の改良版であるP100_を提案・検証すること。

提案手法

• スケール不変性、単調性、分野中立性を含む、健全な百分位ベース引用順位システムの核心的性質を定義する。
• 元のP100指標の改善版としてP100_を提案し、引用分布の歪みに対する感受性を低減するように百分位計算を調整する。
• 分野別に引用数を標準化するため、分野内での変換済みzスコアを適用する。
• 出版群内の相対的引用パフォーマンスに基づき、動的百分位しきい値を用いて順位を割り当てる。
• シミュレーションと実際の引用データを用いた実証的検証により、分野を越えた耐久性と公平性を評価する。
• 引用期間効果と出版年齢の影響を考慮する正規化手順を導入し、時間的安定性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 どのようにすれば、分野を越えて公平であり、かつ個人の研究者インパクトに敏感な引用順位システムを設計できるか？
• RQ2 百分位ベースの引用指標が研究評価において信頼性と解釈可能性を持つために、どのような性質が不可欠か？
• RQ3 元のP100指標は、なぜ若手研究者や異分野研究者にとって不十分な対応を示すのか？
• RQ4 歪んだ引用分布からの歪みを低減するため、どのようにして百分位順位メカニズムを数学的に洗練できるか？
• RQ5 P100に比べてP100_は、安定性、公平性、解釈可能性のどの点で改善をもたらすのか？

主な発見

• P100_は、より適応的な百分位しきい値設定メカニズムを採用することで、引用分布の歪みの影響を低減する。
• 特に引用数が少ない出版物においても、P100_はP100に比べて時間的安定性が向上している。
• 分野内での引用数の正規化をより適切に行うことで、P100_は異分野間比較における公平性を高める。
• 本手法は若手研究者の成果に対する感度を向上させ、キャリア初期段階における引用数の少なさによる不利要因を軽減する。
• 実証的検証により、P100_が既存の指標と高い相関を示す一方で、解釈性の向上とバイアスの低減を実現していることが確認された。
• 提案されたフレームワークは、標準的で透明性があり、説明可能な性質を持つ将来の引用順位指標設計の形式的基盤を提供する。