[논문 리뷰] Reliability and Comparability of Peer Review Results

Nadine Rons, Eric Spruyt|arXiv (Cornell University)|2013. 07. 26.

scientometrics and bibliometrics research참고 문헌 5인용 수 3

한 줄 요약

이 연구는 벨기에 두 대학의 연구 팀 평가에서 동료 평가의 신뢰성과 비교 가능성에 대해 분석함으로써 학술 평가에서의 동료 평가의 신뢰성과 비교 가능성을 조사한다. 연구 결과, 평가자의 평가 방식이 일관되지 않아 동료 평가 결과에 큰 변동성이 있음을 발견하였으며, 일관성을 높이기 위해 표준화된 기준 수준과 신뢰성 점검을 도입할 것을 제안한다. 인용 분석 결과는 분야와 지표 유형에 따라 동료 평가 결과와 부분적으로 일치하는 것으로 나타났다.

ABSTRACT

In this paper peer review reliability is investigated based on peer ratings of research teams at two Belgian universities. It is found that outcomes can be substantially influenced by the different ways in which experts attribute ratings. To increase reliability of peer ratings, procedures creating a uniform reference level should be envisaged. One should at least check for signs of low reliability, which can be obtained from an analysis of the outcomes of the peer evaluation itself. The peer review results are compared to outcomes from a citation analysis of publications by the same teams, in subject fields well covered by citation indexes. It is illustrated how, besides reliability, comparability of results depends on the nature of the indicators, on the subject area and on the intrinsic characteristics of the methods. The results further confirm what is currently considered as good practice: the presentation of results for not one but for a series of indicators.

연구 동기 및 목표

• 벨기에 대학의 연구 팀 평가에서 동료 평가 결과의 신뢰성을 평가하기 위해.
• 전문가의 평가 방식 차이가 동료 평가 결과의 일관성과 타당성에 미치는 영향을 조사하기 위해.
• 동료 평가 결과와 인용 분석 결과를 비교하여 다양한 평가 지표 간의 비교 가능성을 평가하기 위해.
• 신뢰성과 비교 가능성에 영향을 주는 방법론적 요인을 규명하기 위해.
• 표준화된 기준 수준과 내부 일관성 점검과 같은 절차적 개선 조치를 통해 더 일관된 동료 평가 관행을 확립하기 위해.

제안 방법

• 벨기에 두 대학의 연구 팀을 평가한 전문가들로부터 동료 평가 점수를 수집함.
• 평가자 간 평가 패턴의 변동성을 분석하여 신뢰성과 일관성을 평가함.
• 동일한 연구 팀의 논문을 잘 커버된 분야의 인용 색인을 사용하여 인용 분석을 수행함.
• 동료 평가 결과와 인용 기반 지표를 비교하여 일치성과 비교 가능성을 평가함.
• 평가 결과의 통계적 분석을 통해 평가 과정 내에서의 낮은 신뢰성 징후를 탐지함.
• 분야 특성과 지표 유형이 동료 평가 결과와 인용 기반 결과의 비교 가능성에 미치는 영향을 평가함.

실험 결과

연구 질문

• RQ1 전문가들이 점수를 부여하는 방식의 차이로 인해 동료 평가 결과가 어느 정도 변동하는가?
• RQ2 동일한 연구 팀에 대해 동료 평가 결과와 인용 분석 결과는 어느 정도 비교 가능한가?
• RQ3 분야 특성과 지표 유형은 평가 결과의 신뢰성과 비교 가능성에 어떤 역할을 하는가?
• RQ4 표준화된 기준 수준과 내부 일관성 점검을 통해 동료 평가의 신뢰성을 향상시킬 수 있는가?
• RQ5 신뢰할 수 있고 비교 가능한 학술 평가 결과를 뒷받침하는 데 가장 적합한 지표는 무엇인가?

주요 결과

• 전문가들 간 평가 방식의 일관성 부족으로 인해 동료 평가 결과에 상당한 변동성이 나타나, 이는 낮은 신뢰성을 시사한다.
• 다른 전문가들이 서로 다른 기준점을 사용하여 점수를 부여함으로써 일관성이 떨어지는 것으로 나타났다.
• 인용 분석 결과는 동료 평가 결과와 부분적으로 일치하였으며, 이 일치 정도는 분야에 따라 달라졌다.
• 동료 평가의 신뢰성은 지표 선택과 평가 방법의 본질적 특성에 민감하게 영향을 받는 것으로 확인되었다.
• 다양한 지표를 통해 결과를 제시할 경우 평가의 강건성과 신뢰성 향상에 기여한다는 점을 확인하였다.
• 평가 결과의 내부 분석을 통해 동료 평가 과정 내에서 낮은 신뢰성의 징후를 탐지할 수 있으며, 이는 이러한 점검이 필요하다는 것을 뒷받침한다.