[논문 리뷰] The use of percentiles and percentile rank classes in the analysis of bibliometric data: Opportunities and limits

Lutz Bornmann, Loet Leydesdorff외 1명|arXiv (Cornell University)|2012. 11. 02.

scientometrics and bibliometrics research참고 문헌 23인용 수 4

한 줄 요약

이 논문은 비중분위수와 비중분위수 등급 클래스를 문헌정보학적 분석에 사용하는 것에 대해 다루며, 침습적인 인용 데이터에 대해 평균 기반 지표보다 그 장점을 강조한다. 비중분위수 계산과 순위 할당에서 발생하는 주요 과제를 특정하고, 연구 간 비교 가능성을 보장하기 위해 표준화된 방법의 필요성을 강조한다.

ABSTRACT

Percentiles have been established in bibliometrics as an important alternative to mean-based indicators for obtaining a normalized citation impact of publications. Percentiles have a number of advantages over standard bibliometric indicators used frequently: for example, their calculation is not based on the arithmetic mean which should not be used for skewed bibliometric data. This study describes the opportunities and limits and the advantages and disadvantages of using percentiles in bibliometrics. We also address problems in the calculation of percentiles and percentile rank classes for which there is not (yet) a satisfactory solution. It will be hard to compare the results of different percentile-based studies with each other unless it is clear that the studies were done with the same choices for percentile calculation and rank assignment.

연구 동기 및 목표

• 비중분위수 기반 지표가 문헌정보학적 분석에서 전통적인 평균 기반 지표보다 어떤 장점을 가지는지 평가하는 것.
• 인용 데이터에 대한 비중분위수 계산과 비중분위수 등급 클래스 할당에서 발생하는 방법론적 과제를 특정하는 것.
• 연구 간 비교를 방해하는 비중분위수 계산과 순위 할당의 일관성 없는 문제를 다루는 것.
• 표준화된 방법을 통해 비중분위수를 정규화된 인용 영향도 평가에 사용하는 투명성과 표준화를 촉진하는 것.
• 연구자가 비중분위수 기반 문헌정보학적 지표를 적용할 때 최선의 실천 방법을 안내하는 것.

제안 방법

• 시뮬레이션과 실증 데이터를 사용하여 인용 분석에서 비중분위수 기반 지표와 평균 기반 지표를 비교하는 것.
• 다양한 비중분위수 계산 방법이 결과로 나오는 순위 할당에 미치는 영향을 분석하는 것.
• 문헌정보학에서 흔히 볼 수 있는 비대칭 인용 분포에서 비중분위수의 통계적 성질을 검토하는 것.
• 데이터 특성에 따라 적절한 비중분위수 계산 기법을 선택하는 기준을 제안하는 것.
• 다른 연구 간 비교를 가능하게 하기 위해 일관된 순위 할당 방법의 중요성을 강조하는 것.
• 기존 문헌을 검토하고 비중분위수 적용에 있어 방법론적 합의의 격차를 식별하는 것.

실험 결과

연구 질문

• RQ1 비중분위수 기반 지표는 평균 기반 지표에 비해 인용 영향도의 정규화를 어떻게 향상시키는가?
• RQ2 문헌정보학적 데이터에서 비중분위수 계산과 순위 등급 할당에서 발생하는 주요 방법론적 과제는 무엇인가?
• RQ3 비중분위수 계산과 순위 할당의 일관성이 다양한 문헌정보학적 연구 간 비교 가능성에 중요한 이유는 무엇인가?
• RQ4 비대칭 인용 분포에서 비중분위수를 사용할 경우 발생하는 통계적 한계는 무엇인가?
• RQ5 연구자가 비중분위수 기반 접근법을 표준화하여 재현성과 투명성을 향상시킬 수 있는 방법은 무엇인가?

주요 결과

• 비중분위수 지표는 극단적인 값의 영향을 줄이므로, 비대칭적인 문헌정보학적 데이터에 대해 산술 평균보다 더 적합하다.
• 비중분위수 계산 및 순위 할당 방법의 일관성 부족은 연구 간 비교가 불가능한 결과를 초래한다.
• 현재까지 문헌정보학에서 비중분위수 계산과 순위 할당에 대해 보편적으로 인정된 방법이 존재하지 않는다.
• 비중분위수 계산 방법의 선택은 결과로 나오는 순위 할당과 인용 영향도의 해석에 중대한 영향을 미친다.
• 신뢰할 수 있는 기관 간 및 연구 간 비교를 위해 비중분위수 계산의 표준화가 필수적이다.
• 이 논문은 방법론적 합의의 심각한 격차를 특정하며, 연구 공동체가 투명하고 일관된 관행을 채택할 것을 촉구한다.