[논문 리뷰] Range restriction, admissions criteria, and correlation studies of standardized tests

Alexander R. Small|arXiv (Cornell University)|2017. 09. 09.

Medical Education and Admissions참고 문헌 19인용 수 5

한 줄 요약

이 논문은 컴퓨터 시뮬레이션을 사용하여 입학 과정에서의 범위 제한이 표준화된 시험 점수와 학업 성취도 간의 관찰된 상관관계를 왜곡함을 보여주며, 전체 지원자 집단에서 시험 점수가 예측 가능할지라도 성공한 과학자들 중 낮은 GRE 점수를 받은 경우가 통계적으로 가능함을 시사한다. 이 연구는 입학 기준이 관찰된 상관관계에 상당한 영향을 미친다는 점을 드러내며, 제한된 샘플에 기반한 시험 유효성 해석에 도전한다.

ABSTRACT

Recent and influential critiques of standardized testing have noted the existence of non-trivial numbers of successful scientists who received low scores on the GRE. Here we use computer simulations to show that the prevalence of such examples is consistent with the reasonable hypothesis that academic performance depends on multiple variables. We examine the effects of admissions criteria on the observed predictive power of different variables, and show that observed correlations between student performance and student characteristics depend as much on the method of selecting students as on causal relationships detectable in the wider applicant pool. This is an example of the well-known statistical phenomenon of range restriction, and we offer relevant caveats and recommendations for further studies of admissions tests. We also show that the magnitude of range restriction effects depend on how student characteristics are weighted in admissions decisions.

연구 동기 및 목표

• 표준화된 시험 점수와 학업 성취도 간의 관찰된 상관관계에 입학 과정에서의 범위 제한이 미치는 영향을 조사하기 위해.
• 다양한 입학 기준이 시험 점수의 예측 유효성에 미치는 영향을 평가하기 위해.
• 성공한 과학자들 중 낮은 시험 점수를 받는 경우를 시험 유효성에 반하는 증거로 해석하는 것에 도전하기 위해.
• 제한된 학술 샘플에서 상관관계 연구를 해석하기 위한 통계적 지침을 제공하기 위해.

제안 방법

• 표준화된 시험 점수를 포함한 여러 성과 관련 변수를 가진 지원자 집단을 모델링하기 위해 컴퓨터 시뮬레이션을 사용하였다.
• 시험 점수의 가중치를 다르게 설정한 다양한 입학 기준을 시뮬레이션하여 실제 graduate 프로그램과 유사한 제한된 샘플을 생성하였다.
• 제한된 샘플 내에서 시험 점수와 성과 간의 관찰된 상관관계를 계산하고 진정한 모집단 상관관계와 비교하였다.
• 시험 점수의 가중치를 변화시켜 범위 제한 효과의 크기를 정량화하였다.
• 예측 변수의 신뢰도와 분산을 기반으로 한 보정 기법을 포함하여 범위 제한을 보정하기 위한 통계 기법을 적용하였다.
• 예측 변수 조합과 선별 기준의 조합이 관찰된 상관관계에 어떻게 영향을 미치는지 분석하였다.

실험 결과

연구 질문

• RQ1 입학 과정에서의 범위 제한은 표준화된 시험 점수와 학업 성취도 간의 관찰된 상관관계에 어떻게 영향을 미치는가?
• RQ2 다양한 입학 기준은 제한된 샘플에서 시험 점수의 예측 능력에 어느 정도 영향을 미치는가?
• RQ3 어떤 매우 성공한 과학자들이 낮은 표준화된 시험 점수를 받는가, 이는 시험 유효성과 일치하지 않는가?
• RQ4 입학 결정에서 시험 점수에 할당된 가중치는 범위 제한 효과의 크기에 어떻게 영향을 미치는가?
• RQ5 지원자 샘플이 제한되어 있을 경우 상관관계 연구를 정확히 해석하기 위해 어떤 보정이 필요한가?

주요 결과

• 진정한 모집단에서 상관관계가 강할지라도, 표준화된 시험 점수와 학업 성취도 간의 관찰된 상관관계는 범위 제한으로 인해 제한된 샘플에서 크게 감소한다.
• 범위 제한 효과의 크기는 입학 결정에서 시험 점수가 어떻게 가중치가 매겨지는지에 따라 결정되며, 높은 가중치는 왜곡을 증폭시킨다.
• 성공한 과학자들 중 낮은 GRE 점수를 받는 것은 넓은 지원자 집단에서 시험 점수와 성과 간의 유효한 예측 관계가 존재할 경우 통계적으로 일관된 결과이다.
• 범위 제한을 보정하면 제한된 샘플에서 표준화된 시험의 진정한 예측 유효성이 자주 과소평가됨을 드러낸다.
• 시험 점수를 더 중시하는 입학 기준은 더 큰 범위 제한과 따라서 더 큰 관찰된 상관관계 왜곡을 초래한다.
• 이 연구는 관찰된 상관관계를 보정하여 진정한 모집단 상관관계를 추정할 수 있는 프레임워크를 제공하며, 향후 시험 성과에 관한 연구의 타당성을 향상시킨다.