[논문 리뷰] Analyzing admissions metrics as predictors of graduate GPA and whether graduate GPA mediates Ph.D. completion

Mike Verostek, Casey W. Miller외 1명|arXiv (Cornell University)|2021. 04. 17.

Medical Education and Admissions참고 문헌 86인용 수 27

한 줄 요약

이 연구는 19개의 프로그램에서 1,955명의 물리학 박사과정 학생을 대상으로 학부 GPA(UGPA)와 GRE 점수가 대학원 GPA와 박사 학위 수료를 얼마나 예측할 수 있는지 평가한다. 역행성 중재 분석을 통해 UGPA는 대학원 성취도와 수료 여부에 대해 유의미한 예측력을 가지며, 대학원 GPA를 통해 간접적으로 영향을 미친다. 반면 GRE 점수는 직접적인 예측력이 없고 간접 효과도 미미하다.

ABSTRACT

An analysis of 1,955 physics graduate students from 19 PhD programs shows that undergraduate grade point average predicts graduate grades and PhD completion more effectively than GRE scores. Students' undergraduate GPA (UGPA) and GRE Physics (GRE-P) scores are small but statistically significant predictors of graduate course grades, while GRE quantitative and GRE verbal scores are not. We also find that males and females score equally well in their graduate coursework despite a statistically significant 18 percentile point gap in median GRE-P scores between genders. A counterfactual mediation analysis demonstrates that among admission metrics tested only UGPA is a significant predictor of overall PhD completion, and that UGPA predicts PhD completion indirectly through graduate grades. Thus UGPA measures traits linked to graduate course grades, which in turn predict graduate completion. Although GRE-P scores are not significantly associated with PhD completion, our results suggest that any predictive effect they may have are also linked indirectly through graduate GPA. Overall our results indicate that among commonly used quantitative admissions metrics, UGPA offers the most insight into two important measures of graduate school success, while posing fewer concerns for equitable admissions practices.

연구 동기 및 목표

• 물리학 대학원에서 대학원 GPA와 박사 학위 수료 여부를 예측하는 데 사용되는 일반적인 입학 평가 지표인 UGPA와 GRE 점수의 예측 타당성을 평가하기 위해.
• 입학 평가 지표와 박사 학위 수료 간의 관계에서 대학원 GPA가 중재 역할을 하는지 조사하기 위해.
• 물리학 박사 학위 입학에서 GRE 점수 사용의 공정성 영향을 평가하기 위해.
• 장기적인 대학원 성공을 예측하는 데 있어 UGPA 또는 GRE 점수가 더 강력하고 공정한 예측 지표인지 규명하기 위해.

제안 방법

• 미국 소재 19개 대학원 프로그램의 1,955명의 물리학 박사과정 학생 데이터를 대상으로 다변량 회귀 분석을 수행하였다.
• 입학 평가 지표가 박사 학위 수료에 미치는 직접 및 간접 효과를 분리하기 위해 역행성 중재 분석을 적용하였다.
• 대학원 GPA, 프로그램 등급, 기타 요소가 입학 평가 지표와 수료 간의 관계를 중재하는지 확인하기 위해 다중 중재자 모델을 사용하였다.
• 결측치를 처리하기 위해 다중 대체법을 활용하여 통계적 추론의 강건성을 확보하였다.
• 직접 효과 및 간접 효과에 대한 95% 신뢰구간을 계산하여 통계적 유의성을 평가하였다.
• 단일 및 다중 중재자 모델을 비교하여 다양한 모델 사양에서 연구 결과의 일관성을 검증하였다.

실험 결과

연구 질문

• RQ1 UGPA와 GRE 점수는 물리학 박사과정에서 대학원 GPA를 예측할 수 있는가?
• RQ2 대학원 GPA는 입학 평가 지표와 박사 학위 수료 간의 관계에서 유의미한 중재 변수인가?
• RQ3 GRE 점수는 박사 학위 수료를 직접적으로 예측하는가, 아니면 대학원 GPA를 통해 간접적으로만 영향을 미치는가?
• RQ4 GRE-P 점수의 성별 격차가 존재함에도 불구하고 대학원 성취도에서 성별 격차는 있는가?
• RQ5 입학 평가 지표로서 UGPA 또는 GRE 점수 중 어느 것이 박사 학위 수료를 더 신뢰성 있고 공정하게 예측할 수 있는가?

주요 결과

• UGPA는 대학원 GPA와 박사 학위 수료 여부에 대해 통계적으로 유의미한 예측력을 가지며, 대학원 성취도를 통해 직접적이고 간접적인 영향을 미친다.
• GRE-P 점수는 박사 학위 수료와 직접적으로나 간접적으로나 유의미한 연관성이 없으며, 중앙값 점수에서 18 백분위수 포인트의 성별 격차가 존재함에도 불구하고 그러하다.
• 남성과 여성은 GRE-P 점수의 성별 격차가 있음에도 불구하고 동일한 대학원 GPA를 달 đạt하며, 이는 대학원 수업 성취도에 성별 격차가 없음을 시사한다.
• GRE-Q 및 GRE-V 점수는 대학원 GPA 또는 박사 학위 수료와 유의미한 연관성이 없다.
• UGPA가 박사 학위 수료에 미치는 간접 효과는 전적으로 대학원 GPA를 통해 이루어지며, 학부 성취도에서 학위 수료에 이르는 인과적 경로를 확인한다.
• 프로그램 등급 또는 기타 중재자에 대해 통계적으로 유의미한 간접 효과는 발견되지 않았으며, 이는 대학원 GPA가 성공을 중재하는 데 핵심적인 역할을 한다는 것을 강조한다.