[论文解读] Analyzing admissions metrics as predictors of graduate GPA and whether graduate GPA mediates Ph.D. completion

Mike Verostek, Casey W. Miller+1 more|arXiv (Cornell University)|Apr 17, 2021

Medical Education and Admissions参考文献 86被引用 27

一句话总结

本研究分析了来自19个美国物理博士项目中的1,955名物理博士生，评估了本科GPA（UGPA）和GRE成绩对研究生GPA及博士毕业的预测能力。通过反事实中介分析发现，UGPA是研究生表现和毕业的显著预测因子，其作用通过研究生GPA间接实现；而GRE成绩既无直接预测能力，也仅有微弱的间接效应。

ABSTRACT

An analysis of 1,955 physics graduate students from 19 PhD programs shows that undergraduate grade point average predicts graduate grades and PhD completion more effectively than GRE scores. Students' undergraduate GPA (UGPA) and GRE Physics (GRE-P) scores are small but statistically significant predictors of graduate course grades, while GRE quantitative and GRE verbal scores are not. We also find that males and females score equally well in their graduate coursework despite a statistically significant 18 percentile point gap in median GRE-P scores between genders. A counterfactual mediation analysis demonstrates that among admission metrics tested only UGPA is a significant predictor of overall PhD completion, and that UGPA predicts PhD completion indirectly through graduate grades. Thus UGPA measures traits linked to graduate course grades, which in turn predict graduate completion. Although GRE-P scores are not significantly associated with PhD completion, our results suggest that any predictive effect they may have are also linked indirectly through graduate GPA. Overall our results indicate that among commonly used quantitative admissions metrics, UGPA offers the most insight into two important measures of graduate school success, while posing fewer concerns for equitable admissions practices.

研究动机与目标

• 评估常见入学指标——UGPA与GRE成绩——对物理博士项目中研究生GPA及博士毕业的预测效度。
• 探究研究生GPA是否在入学指标与博士毕业之间起到中介作用。
• 评估在物理博士项目入学中使用GRE成绩的公平性影响。
• 确定UGPA或GRE成绩中哪一个能提供更强、更公平的长期研究生成功预测。

提出的方法

• 对来自19个美国物理博士项目的1,955名物理博士生数据集进行多元回归分析。
• 应用反事实中介分析，以区分入学指标对博士毕业的直接与间接影响。
• 使用多重中介模型检验研究生GPA、项目层级或其他因素是否在入学指标与毕业之间起到中介作用。
• 采用多重插补法处理缺失数据，确保统计推断的稳健性。
• 计算直接效应与间接效应的95%置信区间，以评估统计显著性。
• 比较单中介与多中介模型，以验证不同模型设定下结果的一致性。

实验结果

研究问题

• RQ1 UGPA与GRE成绩是否能预测物理博士项目中的研究生GPA？
• RQ2 研究生GPA是否在入学指标与博士毕业之间起到显著中介作用？
• RQ3 GRE成绩是否直接预测博士毕业，或仅通过研究生GPA产生间接影响？
• RQ4 尽管GRE-P成绩存在性别差异，是否存在研究生表现上的性别差异？
• RQ5 在入学指标中，UGPA或GRE成绩哪一个能提供更可靠、更公平的博士毕业预测？

主要发现

• UGPA是研究生GPA和博士毕业的统计显著预测因子，其影响既包括直接效应，也通过研究生表现产生间接效应。
• GRE-P成绩与博士毕业无显著关联，无论直接还是间接影响，尽管其中位数成绩存在18个百分点的性别差距。
• 尽管存在GRE-P成绩的性别差距，男性与女性在研究生GPA上表现相当，表明在研究生课程中不存在表现差异。
• GRE-Q与GRE-V成绩与研究生GPA或博士毕业均无显著关联。
• UGPA对博士毕业的间接效应完全通过研究生GPA实现，证实了从本科表现到学位完成的因果路径。
• 未发现项目层级或其他中介变量存在统计显著的间接效应，凸显了研究生GPA在成功中介中的核心作用。