[論文レビュー] How to evaluate individual researchers working in the natural and life sciences meaningfully? A proposal of methods based on percentiles of citations

Lutz Bornmann, Werner Marx|arXiv (Cornell University)|Feb 15, 2013

scientometrics and bibliometrics research参考文献 84被引用数 4

ひとこと要約

本論文は、自然科学および生命科学分野の研究者を対象としたパーセンタイルベースの引用評価フレームワークを提案し、hインデックスのような欠陥のある指標に代わって、科学的分野固有の基準に基づいた引用回数の標準化パーセンタイルを導入する。分野別ベンチマークに基づく引用影響の正規化により、分野を越えた研究者のパフォーマンスをより公平に、多次元的に比較可能にする。

ABSTRACT

Although bibliometrics has been a separate research field for many years, there is still no uniformity in the way bibliometric analyses are applied to individual researchers. Therefore, this study aims to set up proposals how to evaluate individual researchers working in the natural and life sciences. 2005 saw the introduction of the h index, which gives information about a researcher's productivity and the impact of his or her publications in a single number (h is the number of publications with at least h citations); however, it is not possible to cover the multidimensional complexity of research performance and to undertake inter-personal comparisons with this number. This study therefore includes recommendations for a set of indicators to be used for evaluating researchers. Our proposals relate to the selection of data on which an evaluation is based, the analysis of the data and the presentation of the results.

研究の動機と目的

• 自然および生命科学分野における研究者個人の文献情報評価の標準化の欠如に取り組む。
• hインデックスのような単一の数値指標が、研究パフォーマンスの多次元的性質を捉えきれていないという限界を克服する。
• 引用影響に基づく一貫性があり、分野正規化された研究者の評価手法を開発する。
• 透明性と公平性を確保するため、データ選定、分析、評価結果の提示に関する実用的ガイドラインを提供する。
• 異なる科学的分野間での意味のある人間同士の比較を可能にするために、引用習慣の差を考慮した評価を実現する。

提案手法

• 分野固有のサブフィールド内での引用回数のパーセンタイルを用いて、個人の引用影響を正規化する。
• 研究者の出版物の相対的引用影響を、その分野および出版年における引用回数の分布と比較することで算出する。
• 生の引用回数や集約インデックスに依存するのではなく、出版物ごとに分野正規化された引用パーセンタイルを適用する。
• 上位10%、25%、50%パーセンタイルの出版物といった、複数のパーセンタイルベースの指標を組み合わせることで、研究影響の異なる次元を反映する。
• Web of Science や Scopus などのデータベースからの引用データを用い、分野および出版年でフィルタリングすることで正確性を確保する。
• 視覚的および表形式のフォーマットを用いて、研究者が同じ分野および期間の同僚と比較してどの程度のパフォーマンスを示しているかを明確に提示する。

実験結果

リサーチクエスチョン

• RQ1 異なる科学的サブフィールドで、引用文化が異なる中で、どのようにして研究者の引用影響を意味的に比較できるか？
• RQ2 hインデックスのような既存の指標が、研究パフォーマンスの多次元的性質を捉えきれていない主な限界は何か？
• RQ3 どのようにして引用データを正規化し、分野を越えて研究者個人の評価を公平に行えるか？
• RQ4 包括的かつ透明性のある研究者個人の影響力評価を可能にする指標のセットは何か？
• RQ5 引用パーセンタイルは、機関内評価や助成金審査において、実際にどのように応用できるか？

主な発見

• 絶対的引用回数やhインデックスと比較して、パーセンタイルベースの引用指標は、より公平で分野に特化した研究者評価手法を提供する。
• 分野ごとの引用習慣の違いを考慮することで、本手法は分野を越えた有効な比較を可能にする。
• 引用パーセンタイルを用いることで、上位パフォーマンスの出版物や全体の引用パフォーマンスを含めた、研究影響の多次元的評価が可能になる。
• 本アプローチは、分野依存の引用頻度や出版数によるバイアスを低減し、研究評価における公平性を向上させる。
• 標準化されたデータソースと明確な方法論的ガイドラインを組み合わせることで、透明で再現可能な評価が可能になる。
• 本研究は、パーセンタイルベースの指標が、研究評価の文脈において従来の指標に代わるか、補完的に効果的に活用できることを示している。