[论文解读] Physics GRE Scores of Prize Postdoctoral Fellows in Astronomy

Emily M. Levesque, Rachel Bezanson+1 more|arXiv (Cornell University)|Dec 10, 2015

Diversity and Career in Medicine被引用 11

一句话总结

本研究通过调查2010–2015年间美国271名获奖博士后研究员（Hubble、Einstein、NSF、Sagan、Jansky），探讨物理GRE（PGRE）成绩是否能预测天文学领域的成功。研究发现，PGRE成绩与第一作者发表论文数量之间无显著相关性，且60百分位数的及格线将导致44%的获奖研究员被排除在外，其中包括60%的女性，表明PGRE并非天文学研究生录取中成功的有效预测指标。

ABSTRACT

The Physics GRE is currently a required element of the graduate admissions process in nearly all U.S. astronomy programs; however, its predictive power and utility as a means of selecting "successful" applicants has never been examined. We circulated a short questionnaire to 271 people who have held U.S. prize postdoctoral fellowships in astrophysics between 2010-2015, asking them to report their Physics GRE scores (this should not in any way be interpreted as a belief that a prize fellowship is the best or only metric of "success" in astronomy). The response rate was 64%, and the responding sample is unbiased with respect to the overall gender distribution of prize fellows. The responses reveal that the Physics GRE scores of prize fellows do not adhere to any minimum percentile score and show no statistically significant correlation with the number of first author papers published. As an example, a Physics GRE percentile cutoff of 60% would have eliminated 44% of 2010-2015 U.S. prize postdoctoral fellows, including 60% of the female fellows. From these data, we find no evidence that the Physics GRE can be used as an effective predictor of "success" either in or beyond graduate school.

研究动机与目标

• 评估PGRE成绩是否能预测‘天文学成功’，定义为获得享有声望的博士后研究员职位。
• 检验PGRE成绩是否与研究产出相关，以博士阶段或之后的首作者发表论文数量衡量。
• 评估PGRE成绩分数线对天文学研究生录取中多样性及申请者群体质量的影响。
• 挑战PGRE在研究生录取中作为筛选门槛的普遍做法，尤其考虑到已知的群体间成绩差异。

提出的方法

• 向2010–2015年间美国271名获奖博士后研究员（Hubble、Einstein、NSF、Sagan、Jansky）发放了13道题的在线问卷。
• 受访者自行报告其PGRE原始分数、百分位数，以及在本科和研究生阶段结束时的首作者发表论文数量。
• 分析PGRE百分位数与发表论文数量之间的相关性，并按性别和PGRE分数阈值进行子群分析。
• 使用假设检验评估相关性的统计显著性，显著性水平设定为p < 0.05。
• 模拟PGRE分数线（如60百分位数）以估算有多少成功研究员会被排除。
• 评估了回应偏差，发现其影响极小，性别分布与整体获奖研究员的性别构成一致。

实验结果

研究问题

• RQ1 在获奖博士后研究员中，PGRE成绩与博士阶段或之后所撰写的第一作者发表论文数量之间是否存在统计显著相关性？
• RQ2 若实施PGRE百分位数分数线（如60百分位数），是否会将大量高成就天文学家排除在申请者群体之外？
• RQ3 PGRE成绩是否能预测天文学研究成功，以博士后后的职业成果衡量？
• RQ4 在天文学研究生录取中，使用PGRE分数线是否对代表性不足的群体（如女性）造成不成比例的影响？

主要发现

• 在147名获奖博士后研究员中，PGRE成绩与博士阶段或之后所撰写的第一作者发表论文数量之间无统计显著相关性。
• PGRE成绩低于60百分位数将导致被调查的271名获奖博士后研究员中44%被排除，其中包括60%的女性研究员。
• 在PGRE成绩低于30百分位数的群体中，仅有20%在本科阶段发表了至少一篇第一作者论文，与整体本科阶段的发表率23%相近。
• 在PGRE成绩从10百分位数到90百分位数的所有分数阈值下，第一作者发表论文的平均数量保持不变，表明其无预测能力。
• 若实施60百分位数的PGRE分数线，将导致64名获奖博士后研究员被排除，其中包括267篇在其研究生阶段撰写的首作者论文。
• 数据表明，PGRE分数线可能使大量未来成就卓著的天文学家，尤其是代表性不足群体，被排除在研究生录取通道之外。