[논문 리뷰] World University Rankings - A Principal Component Analysis

J. E. Steiner|ArXiv.org|2006. 05. 30.

Higher Education Governance and DevelopmentSocial Sciences참고 문헌 2인용 수 18

한 줄 요약

이 연구는 178개의 대학에 대해 13개의 성과 지표를 사용하여 주성분 분석(PCA)을 적용하여 학술 랭킹에 가장 영향을 미치는 요소를 규명한다. 주요 결과는 학술 우수성(48% 분산), 국제성(14%), 교수-학생 비율(8%)이 상호 상관관계가 없는 주요 성분으로서 글로벌 대학 랭킹을 형성하는 데 핵심적인 역할을 한다는 것이다.

ABSTRACT

In order to establish which parameters and corresponding weights are more appropriate for the assessment of academic excellence in the context of university rankings, I have made a multivariate data analysis on a set of 13 parameters for 178 institutions. I found that the three more relevant components are academic excellence (48%), internationalism (14%) and faculty/student ratio (8%). It is shown that these components are not correlated.

연구 동기 및 목표

• 글로벌 대학 성과 평가에 가장 관련성이 높은 변수와 그 상대적 가중치를 규명하기 위해.
• 일반적으로 사용되는 랭킹 지표들이 통계적으로 상관관계가 있는지 여부를 확인하기 위해.
• 대학 랭킹의 구조를 평가하기 위한 데이터 기반의 다변량 접근법을 제공하기 위해.
• 13개의 성과 지표를 더 작은 수의 주성분으로 감소시켜 총 분산의 대부분을 설명할 수 있도록 하기 위해.
• 대학 랭킹 시스템의 타당성과 공정성을 향상시키기 위한 투명하고 통계적인 프레임워크를 제공하기 위해.

제안 방법

• 178개 대학의 데이터셋에 대해 13개의 학술 성과 지표를 기반으로 주성분 분석(PCA)을 수행하였다.
• 모든 13개 변수를 표준화하여 PCA 수행 전에 척도의 편향을 방지하기 위해 동일한 척도를 확보하였다.
• 데이터셋의 총 분산에서 최대 비율을 설명하는 주성분을 추출하였다.
• 기존 변수의 적재도를 기반으로 성분을 해석하여 각 성분에 가장 기여한 지표를 식별하였다.
• 첫 번째 세 개의 성분 간 상관관계를 분석하여 성분 간 독립성을 평가하였다.
• 고유값과 스크리 플롯 분석을 통해 유지할 의미 있는 성분의 수를 결정하였다.

실험 결과

연구 질문

• RQ1 어떤 성과 지표가 글로벌 대학 랭킹에 가장 유의미하게 기여하는가?
• RQ2 기저의 주요 성분으로서의 감소된 수의 성분이 대학 성과의 총 분산 중 얼마나 많은 비율을 설명할 수 있는가?
• RQ3 대학 랭킹에서 상위 랭킹 성분들이 통계적으로 서로 독립적인가?
• RQ4 학술 우수성, 국제성, 교수-학생 비율이 대학 랭킹 형성에 미치는 상대적 중요도는 각각 얼마인가?
• RQ5 PCA와 같은 다변량 통계적 접근법이 대학 랭킹 시스템의 더 객관적인 기초를 제공할 수 있는가?

주요 결과

• 학술 우수성이 데이터셋의 총 분산의 48%를 차지하여 대학 랭킹에 가장 영향력 있는 요소로 나타났다.
• 국제성이 분산의 14%를 기여하며 두 번째로 중요한 성분으로 부상했다.
• 교수-학생 비율은 분산의 8%를 설명하며 중요도에서 세 번째로 높았다.
• 학술 우수성, 국제성, 교수-학생 비율로 구성된 세 가지 주요 성분은 통계적으로 상관관계가 없음을 확인했다.
• 첫 번째 세 개의 주성분이 데이터셋의 총 분산의 70%를 설명하였다.
• 남은 10개의 성분이 함께 분산의 30% 미만을 설명하였으며, 이는 상위 세 성분이 대학 성과의 핵심 구조를 반영하고 있음을 시사한다.