[論文レビュー] Physics GRE Scores of Prize Postdoctoral Fellows in Astronomy

Emily M. Levesque, Rachel Bezanson+1 more|arXiv (Cornell University)|Dec 10, 2015

Diversity and Career in Medicine被引用数 11

ひとこと要約

本研究は、米国在籍の271名の賞受賞ポスドク研究者（2010–2015年）を対象にした調査を通じて、物理学GRE（PGRE）のスコアが天文学分野における成功を予測できるかを検証している。PGREスコアと最初著者論文の数との間に有意な相関は認められず、60百分位数のカットオフラインを設けると、44％の研究者が除外されることになり、女性の60％が除外される可能性がある。これは、PGREが天文学の大学院進学における適正な予測指標ではないことを示している。

ABSTRACT

The Physics GRE is currently a required element of the graduate admissions process in nearly all U.S. astronomy programs; however, its predictive power and utility as a means of selecting "successful" applicants has never been examined. We circulated a short questionnaire to 271 people who have held U.S. prize postdoctoral fellowships in astrophysics between 2010-2015, asking them to report their Physics GRE scores (this should not in any way be interpreted as a belief that a prize fellowship is the best or only metric of "success" in astronomy). The response rate was 64%, and the responding sample is unbiased with respect to the overall gender distribution of prize fellows. The responses reveal that the Physics GRE scores of prize fellows do not adhere to any minimum percentile score and show no statistically significant correlation with the number of first author papers published. As an example, a Physics GRE percentile cutoff of 60% would have eliminated 44% of 2010-2015 U.S. prize postdoctoral fellows, including 60% of the female fellows. From these data, we find no evidence that the Physics GRE can be used as an effective predictor of "success" either in or beyond graduate school.

研究の動機と目的

• PGREスコアが、著名なポスドク研究者としての受賞を含めた天文学分野における「成功」を予測できるかどうかを評価すること。
• PGREスコアが、大学院在学中または卒業後に発表された最初著者論文の数という研究生産性と相関するかどうかを検討すること。
• PGREスコアのカットオフラインが、天文学の大学院進学における多様性と応募者プールの質に与える影響を評価すること。
• 既知の文化的・人種的スコア格差が存在するにもかかわらず、PGREが広く大学院進学の入り口として使われていることへの疑問を提起すること。

提案手法

• 2010–2015年の間に米国で賞を受賞したポスドク研究者（ハッブル、アインシュタイン、NSF、サーガン、ジャンスキー賞受賞者）271名に対して、13問のオンラインアンケートを配布した。
• 回答者は、自身のPGRE得点（原始得点）、百分位数、学部および大学院修了時における最初著者論文の数を自己申告した。
• PGREの百分位数と論文数の相関関係を分析し、性別およびPGREスコアの閾値ごとのサブグループ分析も実施した。
• 統計的有意性の評価には仮説検定を用い、有意水準はp < 0.05とした。
• PGREカットオフ（例：60百分位数）を仮想的に適用し、何名の成功した研究者が除外されるかを推定した。
• 応答バイアスの評価を行ったが、性別分布は賞受賞者の全体的なデモグラフィーと一致しており、バイアスは最小限に抑えられていた。

実験結果

リサーチクエスチョン

• RQ1 賞受賞ポスドク研究者において、PGREスコアと大学院在学中または卒業後に発表された最初著者論文の数との間に、統計的に有意な相関が認められるか？
• RQ2 PGREスコアの百分位数カットオフ（例：60百分位数）を適用した場合、優れた実績を持つ天文学研究者の多くが応募者プールから除外されるだろうか？
• RQ3 PGREスコアは、博士号取得後のキャリア成果という観点から、天文学分野における研究成功を予測できるか？
• RQ4 PGREスコアカットオフは、特に女性のような代表的少数グループに対して、天文学の大学院進学において不均衡に影響を及ぼすのか？

主な発見

• 147名の賞受賞ポスドク研究者を対象にした分析において、PGREスコアと大学院在学中または卒業後に発表された最初著者論文の数との間に、統計的に有意な相関は認められなかった。
• PGREスコアが60百分位数未満の研究者を除外するという基準を設けると、調査対象の271名のうち44％が除外されることになり、女性研究者の60％が除外される可能性がある。
• PGREで30百分位未満のスコアを達成した研究者のうち、20％が学部在学中に1本以上の最初著者論文を発表しており、全体の学部在学中の論文発表率（23％）と同程度であった。
• 10百分位から90百分位までのPGREスコア閾値すべてにおいて、最初著者論文の平均数に変化はなく、PGREスコアが予測力を持たないことを示している。
• 60百分位数のPGREカットオフを適用した場合、64名の賞受賞ポスドク研究者が除外され、その中には大学院在学中に発表された267本の最初著者論文が含まれる。
• データから、PGREカットオフは、とりわけ代表的少数グループからの優れた将来の天文学研究者を大学院進学のパイプラインから除外するリスクをはらんでいることが示唆される。