[論文レビュー] Reliability and Comparability of Peer Review Results

Nadine Rons, Eric Spruyt|arXiv (Cornell University)|Jul 26, 2013

scientometrics and bibliometrics research参考文献 5被引用数 3

ひとこと要約

本研究は、ベルギーの2つの大学における研究チームの評価において、査読の信頼性と比較可能性を分析することで、学術的評価における査読の信頼性を調査している。査読結果は、一貫性のない評価実践のため、著しく変動しており、一貫性を高めるために標準化された基準水準と信頼性のチェックを導入するよう提言している。引用分析の結果は、分野や指標タイプに応じて査読結果と部分的に一致するが、一貫性に欠けることが判明した。

ABSTRACT

In this paper peer review reliability is investigated based on peer ratings of research teams at two Belgian universities. It is found that outcomes can be substantially influenced by the different ways in which experts attribute ratings. To increase reliability of peer ratings, procedures creating a uniform reference level should be envisaged. One should at least check for signs of low reliability, which can be obtained from an analysis of the outcomes of the peer evaluation itself. The peer review results are compared to outcomes from a citation analysis of publications by the same teams, in subject fields well covered by citation indexes. It is illustrated how, besides reliability, comparability of results depends on the nature of the indicators, on the subject area and on the intrinsic characteristics of the methods. The results further confirm what is currently considered as good practice: the presentation of results for not one but for a series of indicators.

研究の動機と目的

• ベルギーの大学における研究チームの評価において、査読結果の信頼性を評価すること。
• 専門家による評価実践の差が、査読結果の一貫性と妥当性に与える影響を調査すること。
• 査読結果と引用分析結果を比較することで、異なる評価指標間の比較可能性を評価すること。
• 信頼性と比較可能性に影響を与えるメソドロジカル要因を同定すること。
• 標準化された基準水準や信頼性のチェックといった手続き的改善策を提案し、より一貫性のある査読実践を実現すること。

提案手法

• ベルギーの2つの大学における研究チームを評価する専門家から得た査読評価を収集した。
• レビュアー間での評価パターンのばらつきを分析し、信頼性と一貫性を評価した。
• well-covered分野における引用インデックスを用いて、同一の研究チームが発表した論文の引用分析を実施した。
• 査読結果と引用指標に基づく結果を比較し、一致度と比較可能性を評価した。
• 評価結果の統計的分析を用いて、査読プロセス内での信頼性の低さの兆候を検出した。
• 分野の特性と指標タイプが、査読結果と引用指標結果の比較可能性に与える影響を評価した。

実験結果

リサーチクエスチョン

• RQ1 専門家による評価の割り当て方の違いによって、査読結果がどの程度変動するか。
• RQ2 同じ研究チームについて、査読結果と引用分析結果はどの程度同等と見なせるか。
• RQ3 分野の特性と指標タイプが、評価結果の信頼性と比較可能性に果たす役割は何か。
• RQ4 標準化された基準水準と内部的一致性チェックを導入することで、査読の信頼性を向上させられるか。
• RQ5 信頼性があり、比較可能な研究評価結果を支持するのに最も適した指標は何か。

主な発見

• 専門家による一貫性のない評価実践のため、査読結果に著しいばらつきが生じており、信頼性が低いことが示された。
• 異なる専門家が異なる基準点を用いて評価を実施しており、これが一貫性の欠如を招いていることが判明した。
• 引用分析の結果は、査読結果と部分的に一致しており、分野によって一致度が異なることが明らかになった。
• 査読の信頼性は、指標の選定や評価手法の固有の特性に敏感であることが判明した。
• 複数の指標を用いて結果を提示することで、評価の堅牢性と信頼性が向上することを本研究は確認した。
• 査読の信頼性が低い兆候は、評価結果の内部的分析によって検出可能であり、こうしたチェックの必要性を裏付けている。