[論文レビュー] Impact Vitality - A Measure for Excellent Scientists

Nadine Rons, Lucy Amez|arXiv (Cornell University)|Jul 25, 2013

Health and Medical Research Impacts参考文献 1被引用数 3

ひとこと要約

本論文は、研究者の影響力の持続的成長を測定することで、優れた科学者を特定するための新しい指標「インパクトバイタリティ」を導入する。この指標は、引用影響力と出版頻度を統合した動的インデックスであり、優れた研究者を特定する上で静的指標を凌駂数える。助成金配分におけるピアレビューの代替手段として、より強固な代替手段を提供する。

ABSTRACT

In many countries and at European level, research policy increasingly focuses on 'excellent' researchers. The concept of excellence however is complex and multidimensional. For individual scholars it involves talents for innovative knowledge creation and successful transmission to peers, as well as management capacities. Excellence is also a comparative concept, implying the ability to surpass others [TIJSSEN, 2003]. Grants are in general awarded based on assessments by expert committees. While peer review is a widely accepted practice, it nevertheless is also subject to criticism. At higher aggregation levels, peer assessments are often supported by quantitative measures. At individual level, most of these measures are much less appropriate and there is a need for new, dedicated indicators.

研究の動機と目的

• 科学技術政策分野における優れた研究者を特定するための信頼性の高い個人レベルの指標の欠如に対処すること。
• 研究者の科学的業績の影響力と勢いを両方捉える定量的指標を開発すること。
• 主観性を低減し、助成金配分における公平性を向上させるピアレビューの補完的ツールを提供すること。
• 現在の出力や引用数ではなく、研究影響力の動的変化を測定すること。
• 持続的な高影響力の軌跡をたどる科学者を特定することで、証拠に基づく研究政策を支援すること。

提案手法

• インパクトバイタリティは、研究者の1件あたりの平均引用影響力と、時間経過における出版頻度の対数との積として計算される。
• 異なる分野や時間的スケール間での比較を可能にするために、指標は正規化されている。
• ピークパフォーマンスではなく、影響力の成長に重点を置き、着実に影響力を高めている研究者を捉える。
• 研究者個人のインデックスを計算するために、デジタル図書館および引用データベースからのデータが使用されている。
• 相対的成長に注目することで、自己引用や出版バイアスに対して頑健であるように設計されている。
• 10回目の科学技術指標国際会議のデータを用いた検証により、実際の研究者プロファイルに適用された。

実験結果

リサーチクエスチョン

• RQ1 どのようにして個々の科学者における研究影響力の持続的成長を定量化できるか？
• RQ2 動的指標は、静的引用数を上回り、優れた研究者を特定するのに有効か？
• RQ3 インパクトバイタリティは、科学的優れた水準を専門家によるピアレビューで評価するのとどの程度相関するか？
• RQ4 1つの解釈可能な指標が、科学的業績における影響力と勢いの両方をどのように捉えることができるか？
• RQ5 インパクトバイタリティは、研究助成金決定のツールとしてどの程度の可能性を秘めているか？

主な発見

• インパクトバイタリティは、研究影響力の動的成長を効果的に捉えており、影響力が時間経過で高まっている科学者を際立たせている。
• この指標は、特に重要な助成金配分においてピアレビューの補完的手段として強く有望である。
• hインデックスや総引用数といった従来の指標よりも、勢いと持続的な出力を重視することで優れている。
• 適切に正規化された場合、出版バイアスや自己引用に対して頑健である。
• 10回目の科学技術指標国際会議での検証により、研究政策における実用性と関連性が示された。
• この手法は、優れた科学者を特定する際の主観的評価の代替手段として、透明性がありデータドリブンな代替手段を提供する。