[논문 리뷰] Ranking and mapping of universities and research-focused institutions worldwide based on highly-cited papers: A visualization of results from multi-level models

Lutz Bornmann, Moritz Stefaner외 2명|arXiv (Cornell University)|2012. 12. 03.

scientometrics and bibliometrics research참고 문헌 40인용 수 4

한 줄 요약

이 논문은 스푸트니크 데이터를 활용하여 다수의 수준 모델을 적용해 글로벌 대학 및 연구소의 높은 영향력 있는 논문을 분석하고 순위를 매기며 지도화하는 웹 기반 도구를 제시한다. 계층적 모델링을 통해 기관별 인용 영향력을 신뢰구간과 함께 추정함으로써, 분야와 지리적 지역 간 연구 우수성에 대한 통계적으로 신뢰할 수 있는 비교가 가능해지며, 중심의 우수성 중심을 특정하는 데에 원자료 인용 수보다 더 정확한 대안을 제공한다.

ABSTRACT

The web application presented in this paper allows for an analysis to reveal centres of excellence in different fields worldwide using publication and citation data. Only specific aspects of institutional performance are taken into account and other aspects such as teaching performance or societal impact of research are not considered. Based on data gathered from Scopus, field-specific excellence can be identified in institutions where highly-cited papers have been frequently published. The web application combines both a list of institutions ordered by different indicator values and a map with circles visualizing indicator values for geocoded institutions. Compared to the mapping and ranking approaches introduced hitherto, our underlying statistics (multi-level models) are analytically oriented by allowing (1) the estimation of values for the number of excellent papers for an institution which are statistically more appropriate than the observed values; (2) the calculation of confidence intervals as measures of accuracy for the institutional citation impact; (3) the comparison of a single institution with an "average" institution in a subject area, and (4) the direct comparison of at least two institutions.

연구 동기 및 목표

• 높은 영향력 있는 논문을 기반으로 기관의 연구 우수성을 통계적으로 엄밀하게 평가할 수 있는 방법을 개발하기 위해.
• 원자료 인용 수의 한계를 보완하기 위해 통계 모델링을 통합하여 잡음 감소 및 신뢰성 향상을 위해.
• 표준화된 지표를 사용하여 특정 학문 분야 내에서 기관 간 직접 비교를 가능하게 하기 위해.
• 분야별 우수성을 위한 상호작용 가능한 지도와 순위 목록을 통해 글로벌 연구 성과를 시각화하기 위해.
• 기관의 인용 영향력에 대한 신뢰구간을 제공하여 순위의 투명성과 해석 가능성 향상시키기 위해.

제안 방법

• 분야 및 출판 연도 효과를 보정하여 기관당 높은 영향력 있는 논문 수를 추정하기 위해 다수 수준(계층적) 모델을 적용하기 위해.
• 스푸트니크에서 제공하는 분야별 정규화된 인용 데이터를 사용하여 해당 분야 및 출판 연도에서 상위 10퍼센트의 인용 수를 기록한 논문 식별하기 위해.
• 소규모 기관에서의 극단적인 값 감소를 위해 실증 베이즈 수축 기법을 사용하여 기관별 인용 영향력 추정하기 위해.
• 각 기관의 추정 인용 영향력에 대한 95퍼센트 신뢰구간 계산하여 정밀도 평가하기 위해.
• 지리적 좌표화된 데이터 통합을 통해 기관 성과 수준을 나타내는 원형이 포함된 상호작용 가능한 지도 제작하기 위해.
• 사용자가 직접 기관을 비교하고 분야 및 지표별 순위를 확인할 수 있도록 웹 애플리케이션 구현하기 위해.

실험 결과

연구 질문

• RQ1 원자료 인용 수보다 더 정확하게 기관의 연구 성과를 어떻게 측정할 수 있는가?
• RQ2 다수 수준 모델이 대학 및 연구소의 인용 기반 순위의 신뢰성을 얼마나 향상시키는가?
• RQ3 인용 영향력에 대한 신뢰구간이 기관 성과 지표의 해석 가능성에 어떻게 기여하는가?
• RQ4 다양한 글로벌 지역과 학문 분야 간에 분야별 정규화된 인용 영향력 측면에서 기관은 어떻게 비교되는가?
• RQ5 인용 데이터를 활용하여 대규모로 연구 우수성을 어떻게 효과적으로 시각화하고 순위를 매울 수 있는가?

주요 결과

• 다수 수준 모델은 특히 출판물 수가 적은 소규모 기관에서 인용 수의 무작위 변동성 영향을 크게 감소시킨다.
• 관측된 원자료 수치보다 기관당 추정된 높은 영향력 있는 논문 수가 더 안정적이고 신뢰할 수 있으며, 표본 크기가 작을 경우 특히 그렇다.
• 신뢰구간은 불확실성의 명확한 척도를 제공하여 사용자가 기관의 순위가 얼마나 신뢰할 수 있는지 평가할 수 있도록 한다.
• 높은 인용 영향력을 가진 기관은 여러 분야에서 일관되게 식별되며, 이는 명확한 글로벌 연구 중심지의 존재를 드러낸다.
• 상호작용 가능한 웹 애플리케이션을 통해 최소 두 개 이상의 기관을 직접 비교할 수 있으며, 이는 근거 기반의 기관 벤치마킹을 지원한다.
• 지리적 좌표화된 지도를 통해 분야별 우수성이 효과적으로 시각화되며, 고성과 기관의 지역적 군집이 부각된다.