[논문 리뷰] Gender-Related Systematics in the NRAO and ALMA Proposal Review Processes

Carol J. Lonsdale, Frederic R. Schwab외 1명|arXiv (Cornell University)|2016. 11. 15.

Geography and Environmental Studies in Latin America참고 문헌 1인용 수 3

한 줄 요약

이 연구는 2012A부터 2017A까지 NRAO 및 ALMA 시설의 제안서 심사 결과에서 성별 관련 격차를 조사한다. ALMA 2~4기 동안 남성 주도자에게 유리한 편향이 통계적으로 유의미하게 나타나며, 특히 3기에서 가장 두드러진다. 다른 NRAO 망원경들에서는 일관성은 떨어지지만 여전히 뚜렷한 영향을 보이며, 심사판 구성원의 성비와의 상관관계는 관찰되지 않았다.

ABSTRACT

A study has been made of the evidence for gender-related systematics in the proposal review processes for the four facilities operated by NRAO: the Jansky Very Large Array (JVLA; hereafter VLA), the Very Long Baseline Array (VLBA), the Green Bank Telescope (GBT) and the Atacama Large Millimeter/submillimeter Array (ALMA) in Chile which is operated by NRAO/AUI in partnership with the European Southern Observatory (ESO) and the National Astronomical Observatories of Japan (NAOJ), in cooperation with the Republic of Chile. A significant gender-related effect is found in the proposal rankings in favor of men over women in the ALMA Proposal Review Processes (PRP) for ALMA Cycles 2-4, with reliability of 99.998% that the underlying rank distributions for male and female PIs are not the same. The effect is largest and most significant for ALMA Cycle 3. A similar overall result is found for the other three NRAO telescopes over proposal Semesters 2012A-2017A, but with lower reliability level overall (98.3%), and with some reversals across semesters in the trend for better performance in the rankings for male PIs. The results align with similar studies recently completed for the HST (Reid 2014) and the ESO proposal review processes (Patat 2016). No correlations are found between the gender-related proposal ranking trends and the gender fractions on review panels. The HST and ESO proposal reviews have come to different conclusions from each other on the role of seniority on the gender-related proposal outcomes at those observatories. The currently available data for the ALMA and NRAO user base do not allow us to investigate the important question of the dependence on the gender-related trends of the seniority of the principal investigators.

연구 동기 및 목표

• NRAO 및 ALMA 시설의 제안서 심사 과정에 체계적 성별 편향이 존재하는지 조사하기.
• 남성 또는 여성 주도자(PI)가 제안서 평가에서 더 유리한 순위를 받는지 확인하기.
• 심사판 구성 — 특히 심사위원의 성비 — 가 성별 기반 결과 격차와 상관관계가 있는지 평가하기.
• HST 및 ESO 제안 과정과 유사한 연구를 비교하여 공통 패턴이나 차이점을 식별하기.
• PI의 경력 수준이 성별 기반 제안서 결과 격차에 영향을 미칠 수 있는지 평가하기는 하지만, 데이터 제약으로 인해 확실한 결론을 내리기 어려움.

제안 방법

• 2012A–2017A 기간 동안 여러 기수/학기 동안 ALMA 및 네 개의 NRAO 시설(JVLA, VLBA, GBT, ALMA)에서의 제안서 순위 데이터 분석.
• 남성과 여성 주도자의 순위 분포를 비모수적 가설 검정을 사용해 통계적으로 비교하여 유의미성 평가.
• p-값과 신뢰수준을 계산하여 제안서 순위의 관찰된 차이의 신뢰도를 정량화.
• 심사판의 성비 분포와 관찰된 성별 기반 결과 격차 간 상관관계 조사.
• 이전 HST(Reid 2014) 및 ESO(Patat 2016) 연구 결과와 비교하여 연구 결과의 맥락 설정.
• 남성 및 여성 PI의 기초 순위 분포가 통계적으로 다른지 평가하기 위해 이측 검정 사용.

실험 결과

연구 질문

• RQ1 ALMA 및 기타 NRAO 시설에서 남성과 여성 주도자의 제안서 순위 결과 간 통계적으로 유의미한 차이가 있는가?
• RQ2 심사판의 성비가 관찰된 성별 기반 결과 격차와 상관관계가 있는가?
• RQ3 성별 편향의 크기와 유의미성은 ALMA 기수 및 NRAO 학기 간 어떻게 변화하는가?
• RQ4 관찰된 성별 기반 추세는 HST 및 ESO 제안서 심사 과정에서 보고된 바와 일치하는가 또는 다름이 있는가?
• RQ5 주도자의 경력 수준이 성별 기반 결과 격차에 어느 정도 영향을 미치는가?

주요 결과

• ALMA 제안서 심사 과정에서 남성 주도자에게 유리한 성별 기반 영향이 통계적으로 유의미하게 발견되었으며, 남성과 여성 PI의 기초 순위 분포가 다를 가능성이 99.998%로 확실하다.
• 가장 뚜렷하고 유의미한 효과는 ALMA 3기에서 나타났으며, 성별에 따른 제안서 순위 격차가 최고조에 이르렀다.
• 2012A–2017A 기간 동안 다른 세 개의 NRAO 시설(JVLA, VLBA, GBT)에서도 유사하지만 일관성은 떨어지는 성별 기반 추세를 관찰했으며, 신뢰수준은 98.3%이며 일부 학기 간 방향 전환이 있었다.
• 심사판의 성비와 관찰된 성별 기반 결과 격차 간 유의미한 상관관계는 발견되지 않았다.
• 이전 HST(Reid 2014) 및 ESO(Patat 2016) 연구 결과와 일치하지만, HST 및 ESO 연구는 PI의 경력 수준이 결과 격차에 미치는 역할에 대해 서로 다른 결론을 도출했다.
• NRAO 및 ALMA 사용자 기반의 PI 경력 데이터가 부족하여, 경력이 관찰된 성별 기반 순위 효과에 어떤 영향을 미칠 수 있는지 분석이 현재로선 불가능하다.