[논문 리뷰] How to evaluate individual researchers working in the natural and life sciences meaningfully? A proposal of methods based on percentiles of citations

Lutz Bornmann, Werner Marx|arXiv (Cornell University)|2013. 02. 15.

scientometrics and bibliometrics research참고 문헌 84인용 수 4

한 줄 요약

이 논문은 자연과학 및 생명과학 분야 연구자를 대상으로 한 백분위수 기반의 인용 평가 프레임워크를 제안하며, h-지수와 같은 결함 있는 지표를 과학 분야별 기준에 맞춘 인용 수의 표준화된 백분위수로 대체한다. 분야별 기준에 따라 인용 영향력을 정규화함으로써, 다양한 학문 분야 간 연구자의 성과를 공정하고 다차원적으로 비교할 수 있다.

ABSTRACT

Although bibliometrics has been a separate research field for many years, there is still no uniformity in the way bibliometric analyses are applied to individual researchers. Therefore, this study aims to set up proposals how to evaluate individual researchers working in the natural and life sciences. 2005 saw the introduction of the h index, which gives information about a researcher's productivity and the impact of his or her publications in a single number (h is the number of publications with at least h citations); however, it is not possible to cover the multidimensional complexity of research performance and to undertake inter-personal comparisons with this number. This study therefore includes recommendations for a set of indicators to be used for evaluating researchers. Our proposals relate to the selection of data on which an evaluation is based, the analysis of the data and the presentation of the results.

연구 동기 및 목표

• 자연과학 및 생명과학 분야의 개인 연구자에 대한 문헌 평가에서의 표준화 부족 문제를 해결한다.
• h-지수와 같은 단일 수치 지표의 한계를 극복하여 연구 성과의 다차원적 성격을 반영하지 못하는 문제를 해결한다.
• 인용 영향력에 기반하여 일관되고 분야에 맞춘 연구자 평가 방법을 개발한다.
• 투명성과 공정성을 확보하기 위해 데이터 선정, 분석 및 평가 결과의 제시 방법에 대한 실용적 지침을 제공한다.
• 다른 과학 분야 간 인위적 비교가 가능하도록, 인용 관행의 차이를 고려하여 다양한 과학 분야 간 연구자 간 비교를 가능하게 한다.

제안 방법

• 학문 분야별 하위분야 내 인용 수의 백분위수를 사용하여 개인의 인용 영향력을 정규화한다.
• 연구자의 논문이 소속된 분야와 발표 연도의 인용 분포와 비교하여 상대적 인용 영향력을 계산한다.
• 원시 인용 수나 집계 지표에 의존하기보다는, 논문 수준에서 분야에 맞춘 인용 백분위수를 적용한다.
• 상위 10%, 25%, 50% 백분위수 논문 등의 다수의 백분위수 기반 지표를 조합하여 연구 영향력의 다양한 차원을 반영한다.
• 정확성을 확보하기 위해 웹 오브 사이언스나 스투디어스 등의 데이터베이스에서 인용 데이터를 확보하고, 과학 분야와 발표 연도로 필터링한다.
• 연구자의 성과를 동일 분야와 시간대의 동료들과 비교할 수 있도록, 시각적 및 표 형식으로 결과를 제시한다.

실험 결과

연구 질문

• RQ1 다른 과학 분야 간 인용 문화의 차이가 있는 상황에서, 어떻게 연구자 간 인용 영향력을 의미 있게 비교할 수 있는가?
• RQ2 h-지수와 같은 기존 지표가 연구 성과의 다차원적 성격을 반영하지 못하는 한계는 무엇인가?
• RQ3 어떻게 하면 다양한 학문 분야 간 개인 연구자의 평가를 공정하게 보장하기 위해 인용 데이터를 정규화할 수 있는가?
• RQ4 종합적이고 투명한 개인 연구 영향력 평가를 위해 어떤 지표 조합이 필요한가?
• RQ5 백분위수 기반 인용 지표는 기관 또는 자금 지원 평가에서 실제로 어떻게 적용될 수 있는가?

주요 결과

• 백분위수 기반 인용 지표는 절대 인용 수나 h-지수에 비해 더 공정하고 분야에 특화된 연구자 평가 방법을 제공한다.
• 분야 간 인용 관행의 차이를 고려함으로써, 이 방법은 다양한 학문 분야 간 유효한 비교를 가능하게 한다.
• 인용 백분위수를 사용하면 상위 성과 논문과 전체적인 인용 성과를 포함한 연구 영향력의 다차원적 평가가 가능하다.
• 이 방법은 분야에 따라 달라지는 인용 빈도와 논문 발표 수에 기인한 편향을 줄여 연구 평가의 공정성을 향상시킨다.
• 표준화된 데이터 소스와 명확한 방법론 가이드라인을 함께 사용할 경우, 이 프레임워크는 투명하고 재현 가능한 평가를 지원한다.
• 본 연구는 백분위수 기반 지표가 연구 평가 맥락에서 전통적 지표를 효과적으로 대체하거나 보완할 수 있음을 입증한다.