[논문 리뷰] The Leiden Ranking 2011/2012: Data collection, indicators, and interpretation

Ludo Waltman, Clara Calero‐Medina외 8명|arXiv (Cornell University)|2012. 02. 17.

Education, Management, Technology, Human Resources인용 수 5

한 줄 요약

이 논문은 41개국의 500개 기관을 대상으로 한 2011/2012 Leiden 랭킹을 제시하며, 공동 연구 논문의 분할 계산, 높은 영향력 있는 논문 수, 비영어 논문 배제, 안정성 간격 등 향상된 지표를 사용한다. 연구 성과 평가의 공정성과 해석 가능성 향상을 위해 방법론적 혁신을 도입하여 상하이 랭킹 및 타임스 하이어러 에듀케이션 랭킹과 같은 주요 랭킹에 대한 투명한 대안을 제공한다.

ABSTRACT

The Leiden Ranking 2011/2012 is a ranking of universities based on bibliometric indicators of publication output, citation impact, and scientific collaboration. The ranking includes 500 major universities from 41 different countries. This paper provides an extensive discussion of the Leiden Ranking 2011/2012. The ranking is compared with other global university rankings, in particular the Academic Ranking of World Universities (commonly known as the Shanghai Ranking) and the Times Higher Education World University Rankings. Also, a detailed description is offered of the data collection methodology of the Leiden Ranking 2011/2012 and of the indicators used in the ranking. Various innovations in the Leiden Ranking 2011/2012 are presented. These innovations include (1) an indicator based on counting a university's highly cited publications, (2) indicators based on fractional rather than full counting of collaborative publications, (3) the possibility of excluding non-English language publications, and (4) the use of stability intervals. Finally, some comments are made on the interpretation of the ranking, and a number of limitations of the ranking are pointed out.

연구 동기 및 목표

• 출판물 수, 인용 영향력, 협력 관계를 바탕으로 글로벌 대학의 투명하고 방법론적으로 탄탄한 문헌정보학적 랭킹을 개발하기.
• 기존 대학 랭킹의 한계를 보완하기 위해 공정성과 정확도를 향상시키는 새로운 지표를 도입하여 성과 평가의 정교함을 높이기.
• 연구 성과 평가를 위한 데이터 기반, 재현 가능한 프레임워크를 제공하여 기관 및 국가 간 평가에 기여하기.
• 안정성 간격과 언어 기반 필터링을 통해 연구자와 기관이 문헌정보학적 지표를 더 신뢰할 수 있도록 지원하기.
• Leiden 랭킹을 상하이 랭킹 및 타임스 하이어러 에듀케이션 월드 유니버시티 랭킹과 비교하여 방법론적 차이점을 분석하기.

제안 방법

• 2008년에서 2010년 사이의 출판물 데이터를 웹 오브 사이언스 데이터베이스에서 수집하여 500개 주요 대학을 대상으로 한다.
• 공동 연구 논문의 기여 기관 간 신뢰도를 높이기 위해 분할 계산을 적용하여 대규모 국제 협력에서 비롯하는 편향을 줄인다.
• 각 기관의 높은 영향력 있는 논문 수를 측정하는 신규 지표를 도입하며, 이는 분야와 출판 연도 기준 상위 10퍼센트의 인용 수를 기록한 논문으로 정의된다.
• 인용 영향력 지표의 신뢰도를 평가하기 위해 안정성 간격을 도입하여 제한된 인용 데이터로 인한 불확실성을 반영한다.
• 언어 특화 인용 관행으로 인한 편향을 줄이기 위해 비영어 논문 배제 기능을 제공한다.
• 과학 분야 간 비교를 가능하게 하기 위해 분야별 정규화된 인용 영향력 점수를 사용한다.

실험 결과

연구 질문

• RQ1 어떻게 문헌정보학적 지표를 개선하여 대학 간 연구 성과 비교의 공정성을 확보할 수 있는가?
• RQ2 분할 계산과 비영어 논문 배제가 기관 랭킹에 어느 정도의 영향을 미치는가?
• RQ3 안정성 간격은 대학 랭킹에서 인용 영향력 지표의 해석 가능성에 어떻게 기여하는가?
• RQ4 Leiden 랭킹은 상하이 랭킹과 타임스 하이어러 에듀케이션 월드 유니버시티 랭킹과 비교할 때 방법론적 및 결과적으로 어떤 차이를 보이는가?
• RQ5 Leiden 랭킹 2011/2012가 이전의 문헌정보학적 랭킹과 구별되는 주요 방법론적 혁신은 무엇인가?

주요 결과

• Leiden 랭킹 2011/2012는 41개국의 500개 대학을 포함하여 연구 성과에 대한 종합적인 글로벌 개요를 제공한다.
• 분할 계산은 대규모 국제 협력 기관의 이점을 크게 줄여 보다 공정한 비교를 가능하게 한다.
• 높은 영향력 있는 논문 수의 포함은 평균 인용 영향력 이상의 연구 우수성을 더 세밀하게 측정할 수 있도록 한다.
• 안정성 간격은 소규모 기관의 인용 영향력 지표가 더 신뢰도가 낮음을 드러내며, 불확실성 평가의 중요성을 강조한다.
• 비영어 논문을 배제하면 특히 비영어권 국가의 기관에 대해 랭킹에 명백한 변화가 발생한다.
• 이 랭킹은 계산 방법과 언어 필터링과 같은 방법론적 선택이 기관의 순위에 상당한 영향을 미치며, 투명성의 필요성을 부각시킨다.