[論文レビュー] Analyzing admissions metrics as predictors of graduate GPA and whether graduate GPA mediates Ph.D. completion

Mike Verostek, Casey W. Miller+1 more|arXiv (Cornell University)|Apr 17, 2021

Medical Education and Admissions参考文献 86被引用数 27

ひとこと要約

本研究は、米国19のプログラムに在籍する1,955名の物理学博士課程学生を対象に、学部時代のGPA（UGPA）およびGREスコアが大学院GPAと博士号取得にどのように予測できるかを評価する。反事後媒介分析を用いた結果、UGPAは大学院成績および修了の両方を有意に予測しており、大学院GPAを経由する間接的経路を通じて作用している。一方、GREスコアは直接的な予測力を持たず、間接的効果も最小限にとどまる。

ABSTRACT

An analysis of 1,955 physics graduate students from 19 PhD programs shows that undergraduate grade point average predicts graduate grades and PhD completion more effectively than GRE scores. Students' undergraduate GPA (UGPA) and GRE Physics (GRE-P) scores are small but statistically significant predictors of graduate course grades, while GRE quantitative and GRE verbal scores are not. We also find that males and females score equally well in their graduate coursework despite a statistically significant 18 percentile point gap in median GRE-P scores between genders. A counterfactual mediation analysis demonstrates that among admission metrics tested only UGPA is a significant predictor of overall PhD completion, and that UGPA predicts PhD completion indirectly through graduate grades. Thus UGPA measures traits linked to graduate course grades, which in turn predict graduate completion. Although GRE-P scores are not significantly associated with PhD completion, our results suggest that any predictive effect they may have are also linked indirectly through graduate GPA. Overall our results indicate that among commonly used quantitative admissions metrics, UGPA offers the most insight into two important measures of graduate school success, while posing fewer concerns for equitable admissions practices.

研究の動機と目的

• 物理学の大学院GPAおよび博士号取得に対する一般的な入学評価指標（UGPAおよびGREスコア）の予測妥当性を評価すること。
• 大学院GPAが入学評価指標と博士号取得の関係を媒介しているかどうかを調査すること。
• 物理学博士号入学におけるGREスコアの使用がもたらす公平性への影響を評価すること。
• 長期的な大学院成功を予測するのにもっとも強力で、より公平性を考慮した指標として、UGPAかGREスコアのどちらが優れているかを特定すること。

提案手法

• 米国19のプログラムに属する1,955名の物理学博士課程学生のデータセットを用いて、多変量回帰分析を実施した。
• 入学評価指標が博士号取得に及ぼす直接的および間接的効果を解明するために、反事後媒介分析を適用した。
• 大学院GPA、プログラムのランク、その他の要因が入学評価指標と修了の関係を媒介しているかどうかを検証するため、複数の媒介変数モデルを用いた。
• 欠損データを処理するために多重代入法を用い、統計的推論の妥当性を確保した。
• 直接効果および間接効果の95％信頼区間を計算し、統計的有意性を評価した。
• 単一および複数の媒介変数モデルを比較し、モデル仕様の違いに対しても結果の一貫性を検証した。

実験結果

リサーチクエスチョン

• RQ1 UGPAおよびGREスコアは、物理学博士課程における大学院GPAを予測できるか？
• RQ2 大学院GPAは、入学評価指標と博士号取得の間の関係を有意に媒介しているか？
• RQ3 GREスコアは博士号取得を直接予測しているか、それともGPAを経由する間接的経路でのみ関連しているか？
• RQ4 GRE-Pスコアの差異があるにもかかわらず、性別による大学院成績の格差は見られるか？
• RQ5 博士号取得の予測において、UGPAかGREスコアのどちらがより信頼性が高く、公平性を考慮した指標であるか？

主な発見

• UGPAは、大学院GPAおよび博士号取得の両方を統計的に有意に予測しており、大学院成績を経由する直接的および間接的効果を示している。
• GRE-Pスコアは、博士号取得に対して直接的または間接的に有意な関連を示さず、中間的なスコアの性別格差（中央値で18パーセンタイルポイント）があるにもかかわらず、その影響は認められない。
• 男性と女性は、GRE-Pスコアの格差があるにもかかわらず、同等の大学院GPAを達成しており、大学院の授業成績に性別による格差がないことが示唆される。
• GRE-QおよびGRE-Vスコアは、大学院GPAまたは博士号取得の両方と有意な関連を示さない。
• UGPAが博士号取得に及ぼす間接的効果は、大学院GPAを経由するのみで、大学院成績から学位取得への因果的経路を確認している。
• プログラムランクやその他の媒介変数について、統計的に有意な間接的効果は認められず、成功の媒介において大学院GPAが中心的な役割を果たしていることが強調される。