[論文レビュー] Measuring impact in research evaluations: A thorough discussion of methods for, effects of, and problems with impact measurements

Lutz Bornmann|arXiv (Cornell University)|Oct 6, 2014

scientometrics and bibliometrics research参考文献 68被引用数 8

ひとこと要約

本稿は、研究のインパクトを測定する方法、効果、課題を批判的に検討し、科学的インパクトから社会的インパクトへの移行を強調している。著者らは、インパクトスコアに歪みをもたらす構造的問題、例えば不平等、ランダム性、予測不能性を特定し、研究評価においてこれらの制限を科学者や評価者らが認識するよう促している。

ABSTRACT

Impact of science is one of the most important topics in scientometrics. Recent developments show a fundamental change in impact measurements from impact on science to impact on society. Since impact measurement is currently in a state of far reaching changes, this paper describes recent developments and facing problems in this area. For that the results of key publications (dealing with impact measurement) are discussed. The paper discusses how impact is generally measured within science and beyond (section 2), which effects impact measurements have on the science system (section 3), and which problems are associated with impact measurement (section 4). The problems associated with impact measurement constitute the focus of this paper: Science is marked by inequality, random chance, anomalies, the right to make mistakes, unpredictability, and a high significance of extreme events, which might distort impact measurements. Scientometricians as the producer of impact scores and decision makers as their consumers should be aware of these problems and should consider them in the generation and interpretation of bibliometric results, respectively.

研究の動機と目的

• 研究インパクト測定の変化するあり方、特に科学的インパクトから社会的インパクトへの移行を分析すること。
• 不平等やランダム性といった、文献計測的インパクト評価に内在する構造的問題を特定・議論すること。
• インパクト測定が研究行動や学術的意思決定に与える影響を検討すること。
• 研究評価において定量的インパクトスコアに過剰に依存するリスクを強調すること。
• 科学計測学者および評価者らが、インパクト指標の制限と歪みについての認識を高めることを提唱すること。

提案手法

• 科学計測学におけるインパクト測定に関する主要な出版物を系統的にレビュー・統合すること。
• 科学分野およびそれ以外の分野におけるインパクト測定法のトピック的分析、特に被引用数ベースの指標と代替指標を含む。
• インパクト測定が研究実践および機関方針に与える影響の評価。
• 科学における構造的問題、例えば予測不能性や極端な出来事象がインパクトスコアに与える影響の同定。
• ランダムなチャンスや異常事象が文献計測の結果をどのように歪めるかを説明する概念的フレームワークの使用。
• 科学計測学者がインパクトデータの生産者として、意思決定者がその消費者として果たす役割の批判的評価。

実験結果

リサーチクエスチョン

• RQ1 研究インパクトの測定方法は、科学的インパクトから社会的インパクトへの移行とともにどのように進化してきたか？
• RQ2 研究評価におけるインパクト指標の使用がもたらす予期せぬ結果は何か？
• RQ3 科学に内在する構造的問題が、インパクト測定の正確性と公平性を歪める要因となるとはどのようなものか？
• RQ4 ランダム性、不平等、極端な出来事象といった要因が文献計測指標にどのように影響を与えるか？
• RQ5 科学計測学者および評価者には、インパクトスコアの解釈と適用に関してどのような責任が求められるか？

主な発見

• インパクト測定は、科学内でのインパクトの測定から社会的インパクトの評価への根本的転換を経験している。
• 不平等、ランダムなチャンス、予測不能性といった構造的問題が、インパクトスコアに顕著に歪みをもたらしている。
• 極端な出来事象や異常事象は、文献計測指標に不釣り合いに大きな影響を及ぼし、誤った評価を引き起こすことがある。
• 間違える権利と科学的発見の本質的な予測不能性は、インパクト指標の信頼性に挑戦をもたらしている。
• インパクトスコアに基づく科学的評価は、既存の不平等を強化し、研究のインcentiveを歪めるリスクをはらんでいる。
• インパクトスコアの生産者およびこれらの指標の消費者の両方が、文献計測的評価に内在する制限とバイアスについて、批判的に認識する必要がある。