[논문 리뷰] From P100 to P100_: Conception and improvement of a new citation-rank approach in bibliometrics

Lutz Bornmann, Ruediger Mutz|arXiv (Cornell University)|2013. 07. 02.

scientometrics and bibliometrics research참고 문헌 9인용 수 6

한 줄 요약

이 논문은 기존의 계량적 평가 지표의 한계를 보완하기 위해 개선된 백분위수 기반 인용 순위 방법인 P100_을 소개한다. 분야 간 인용 영향력을 더 정확히 반영하도록 백분위수 순위 체계를 재보정하여, 특히 초년 기간 연구자와 다학제적 연구에 대해 공정성과 해석 가능성을 향상시킨다.

ABSTRACT

Properties of a percentile-based rating scale needed in bibliometrics are formulated. Based on these properties, P100 was recently introduced as a new citation-rank approach (Bornmann, Leydesdorff, & Wang, in press). In this paper, we conceptualize P100 and propose an improvement which we call P100_. Advantages and disadvantages of citation-rank indicators are noted.

연구 동기 및 목표

• 기존의 인용 기반 연구 평가 지표에서 발생하는 일관성 문제와 편향을 해결하기 위해.
• 학술적 영향력에 대한 보다 공정하고 해석 가능한 백분위수 기반 순위 체계를 개발하기 위해.
• 초년 기간 연구자 및 다학제적 논문에 대해 인용 순위의 민감도를 향상시키기 위해.
• 강력하고 분야 중립적인 인용 순위 척도를 위해 필요한 성질을 체계화하기 위해.
• 개념적 및 방법론적 개선을 통해 개선된 P100 지표인 P100_을 제안하고 검증하기 위해.

제안 방법

• 스케일 불변성, 단조성, 분야 중립성 등을 포함한 안정적인 백분위수 기반 인용 순위 체계의 핵심 성질을 정의한다.
• 원래의 P100 지표의 개선된 버전인 P100_을 제안하며, 인용 분포의 비대칭성에 민감도를 낮추기 위해 백분위수 계산 방식을 조정한다.
• 주제 분야 내에서 인용 수를 표준화하기 위해 수정된 z-점수 변환을 적용한다.
• 출판 집단 내 상대적 인용 성과에 기반해 순위를 할당하기 위해 동적 백분위수 임계값 설정 메커니즘을 사용한다.
• 모의 실험과 실제 인용 데이터를 활용한 실증 검증을 통해 다양한 분야에서의 강인성과 공정성을 평가한다.
• 인용 창고 효과와 출판 연령을 고려한 정규화 절차를 도입하여 시간적 안정성을 향상시킨다.

실험 결과

연구 질문

• RQ1 어떻게 하면 분야 간 공정성과 개인 연구자의 영향력에 대한 민감도를 동시에 확보할 수 있는 인용 순위 체계를 설계할 수 있는가?
• RQ2 백분위수 기반 인용 지표가 연구 평가에서 신뢰성 있고 해석 가능하기 위해 필수적인 성질은 무엇인가?
• RQ3 기존의 P100 지표는 초년 기간 연구자나 다학제적 학자들의 요구를 어느 정도 충족시키지 못하는가?
• RQ4 왜곡된 인용 분포로 인한 왜곡을 줄이기 위해 백분위수 순위 메커니즘을 수학적으로 어떻게 개선할 수 있는가?
• RQ5 P100_는 P100에 비해 안정성, 공정성, 해석 가능성 측면에서 어떤 개선을 제공하는가?

주요 결과

• P100_는 더 적응적인 백분위수 임계값 설정 메커니즘을 적용하여 인용 분포의 비대칭성 영향을 감소시킨다.
• 특히 저인용 수를 가진 논문에 대해 P100_은 P100보다 시간에 따른 안정성이 높다.
• 주제 분야 내에서 인용 수를 보다 효과적으로 정규화함으로써 P100_은 분야 간 비교에서 공정성을 향상시킨다.
• 이 논문은 초년 기간 연구자의 성과에 대해 민감도가 향상되어, 초기 경력 단계에서 저인용 수로 인한 불리함을 줄였다.
• 실증적 검증을 통해 P100_은 기존의 주요 지표와 높은 상관성을 유지하면서도 더 뛰어난 해석 가능성과 낮은 편향을 제공하는 것으로 확인되었다.
• 제안된 프레임워크는 표준화되고 투명하며 정당화 가능한 성질을 갖춘 향후 인용 순위 지표 설계를 위한 공식적 기반을 제공한다.