[논문 리뷰] Physics GRE Scores of Prize Postdoctoral Fellows in Astronomy

Emily M. Levesque, Rachel Bezanson외 1명|arXiv (Cornell University)|2015. 12. 10.

Diversity and Career in Medicine인용 수 11

한 줄 요약

이 연구는 미국 내 271명의 수상 후박사 과정 연구자(2010–2015)를 대상으로 물리학 GRE(PGRE) 점수가 천문학 분야에서의 성공을 예측할 수 있는지 조사한다. 연구 결과, PGRE 점수와 1저자 논문 수 사이에 유의미한 상관관계가 없으며, 60번째 백분위수 기준선을 둘 경우 전체 연구자의 44%가 제외될 뿐 아니라 여성 연구자의 60%가 제외될 수 있음을 확인하여, PGRE는 천문학 대학원 입학에서 성공을 예측하는 데 타당하지 않음을 시사한다.

ABSTRACT

The Physics GRE is currently a required element of the graduate admissions process in nearly all U.S. astronomy programs; however, its predictive power and utility as a means of selecting "successful" applicants has never been examined. We circulated a short questionnaire to 271 people who have held U.S. prize postdoctoral fellowships in astrophysics between 2010-2015, asking them to report their Physics GRE scores (this should not in any way be interpreted as a belief that a prize fellowship is the best or only metric of "success" in astronomy). The response rate was 64%, and the responding sample is unbiased with respect to the overall gender distribution of prize fellows. The responses reveal that the Physics GRE scores of prize fellows do not adhere to any minimum percentile score and show no statistically significant correlation with the number of first author papers published. As an example, a Physics GRE percentile cutoff of 60% would have eliminated 44% of 2010-2015 U.S. prize postdoctoral fellows, including 60% of the female fellows. From these data, we find no evidence that the Physics GRE can be used as an effective predictor of "success" either in or beyond graduate school.

연구 동기 및 목표

• PGRE 점수가 천문학 분야에서의 '성공'을 예측할 수 있는지 평가하기 위해, 유명한 후박사 과정 연구자 수상자들을 기반으로 정의된 바, 즉 유력한 후박사 과정 연구자 수상자 수여를 기준으로 한다.
• PGRE 점수와 대학원 수료 시점 또는 이후의 1저자 논문 수와의 상관관계를 연구자 생산성 측정 기준으로 삼아 분석한다.
• PGRE 점수 절단점수가 천문학 대학원 입학에서 다양성과 지원자 풀의 질에 어떤 영향을 미치는지 평가한다.
• 특히 알려진 인구 통계적 점수 격차가 존재하는 바를 감안할 때, PGRE를 대학원 입학의 필수 통과 기준으로 삼는 것의 광범위한 사용을 도전한다.

제안 방법

• 2010–2015년 사이에 활동한 미국 내 수상 후박사 과정 연구자 271명(허블, 아이언스타인, NSF, 샹간, 재언스)을 대상으로 13개 질문의 온라인 설문지를 배포하였다.
• 응답자들은 자가 보고 방식으로 대학원 수료 시 PGRE 원점수, 백분위수, 대학원 및 학부 수료 시 1저자 논문 수를 기입하였다.
• PGRE 백분위수와 논문 수 사이의 상관관계를 분석하였으며, 성별 및 PGRE 점수 기준선에 따른 하위군 분석도 실시하였다.
• 상관관계의 통계적 유의성을 평가하기 위해 가설 검정을 사용하였으며, 유의성 기준은 p < 0.05로 설정하였다.
• 모의 PGRE 절단점수(예: 60번째 백분위수)를 적용하여 얼마나 많은 성공한 연구자가 제외될지를 추정하였다.
• 응답 편향을 평가한 결과, 성별 분포가 전체 수상 후박사 과정 연구자 인구 통계와 유사하여 최소한의 편향이 있음을 확인하였다.

실험 결과

연구 질문

• RQ1 수상 후박사 과정 연구자들 사이에서 PGRE 점수와 대학원 수료 시점 또는 이후의 1저자 논문 수 사이에 통계적으로 유의미한 상관관계가 존재하는가?
• RQ2 PGRE 백분위수 절단점수(예: 60번째 백분위수)를 적용할 경우, 성공적인 천문학자들이 지원자 풀에서 상당수 제외될 수 있는가?
• RQ3 PGRE 점수는 박사 학위 수여 후 경력 결과를 측정한 천문학 분야의 연구 성과를 예측할 수 있는가?
• RQ4 PGRE 절단점수 사용이 천문학 대학원 입학에서 여성과 같은 소수자 집단에 비해 불리하게 작용하는가?

주요 결과

• 147명의 수상 후박사 과정 연구자들 중에서 PGRE 점수와 대학원 수료 시점 또는 이후의 1저자 논문 수 사이에 통계적으로 유의미한 상관관계가 없음을 확인하였다.
• PGRE 점수가 60번째 백분위수 이하일 경우, 설문 조사 대상 271명의 수상 후박사 과정 연구자 중 44%가 제외될 수 있으며, 이 중 여성 연구자의 60%가 포함된다.
• PGRE 점수가 30번째 백분위수 이하인 연구자들 중에서 학부 수료 시점에 1저자 논문을 1편 이상 발표한 비율은 20%였으며, 전체 학부 연구자들의 평균 발표 비율인 23%와 유사하다.
• 10번째 백분위수에서 90번째 백분위수까지의 모든 PGRE 점수 기준선에서 1저자 논문의 평균 수가 변화하지 않음을 확인하여, PGRE 점수가 예측 능력을 지니지 못함을 시사한다.
• 60번째 백분위수 PGRE 절단점수를 적용할 경우, 64명의 수상 후박사 과정 연구자가 제외될 것이며, 이 중에서 대학원 수료 기간 동안 267편의 1저자 논문이 제외될 것이다.
• 자료는 PGRE 절단점수가 소수자 집단에서 특히 성공적인 미래 천문학자들을 대학원 입학 프로세스에서 제외할 위험을 지닌다는 점을 시사한다.