[论文解读] Gender-Related Systematics in the NRAO and ALMA Proposal Review Processes

Carol J. Lonsdale, Frederic R. Schwab+1 more|arXiv (Cornell University)|Nov 15, 2016

Geography and Environmental Studies in Latin America参考文献 1被引用 3

一句话总结

本研究调查了2012A至2017A年间NRAO和ALMA设施提案评审结果中的性别相关差异。研究发现，在ALMA第2至4周期中存在统计上显著的99.998%可靠偏见，倾向于男性首席研究员，尤其在第3周期表现最为明显；在其他NRAO望远镜中也观察到较不一致但依然显著的影响，但未发现评审小组性别构成与结果性别差异之间的相关性。

ABSTRACT

A study has been made of the evidence for gender-related systematics in the proposal review processes for the four facilities operated by NRAO: the Jansky Very Large Array (JVLA; hereafter VLA), the Very Long Baseline Array (VLBA), the Green Bank Telescope (GBT) and the Atacama Large Millimeter/submillimeter Array (ALMA) in Chile which is operated by NRAO/AUI in partnership with the European Southern Observatory (ESO) and the National Astronomical Observatories of Japan (NAOJ), in cooperation with the Republic of Chile. A significant gender-related effect is found in the proposal rankings in favor of men over women in the ALMA Proposal Review Processes (PRP) for ALMA Cycles 2-4, with reliability of 99.998% that the underlying rank distributions for male and female PIs are not the same. The effect is largest and most significant for ALMA Cycle 3. A similar overall result is found for the other three NRAO telescopes over proposal Semesters 2012A-2017A, but with lower reliability level overall (98.3%), and with some reversals across semesters in the trend for better performance in the rankings for male PIs. The results align with similar studies recently completed for the HST (Reid 2014) and the ESO proposal review processes (Patat 2016). No correlations are found between the gender-related proposal ranking trends and the gender fractions on review panels. The HST and ESO proposal reviews have come to different conclusions from each other on the role of seniority on the gender-related proposal outcomes at those observatories. The currently available data for the ALMA and NRAO user base do not allow us to investigate the important question of the dependence on the gender-related trends of the seniority of the principal investigators.

研究动机与目标

• 调查NRAO和ALMA设施提案评审过程中是否存在系统性性别偏见。
• 确定男性或女性首席研究员（PIs）在提案评估中是否获得更优的排名。
• 评估评审小组构成——特别是小组成员的性别比例——是否与基于性别的结果差异相关。
• 将研究结果与HST和ESO提案流程的类似研究进行比较，以识别共同模式或差异。
• 评估首席研究员资历对性别相关提案结果的影响，尽管数据限制使得无法得出明确结论。

提出的方法

• 分析2012A至2017A年间四个NRAO设施（JVLA、VLBA、GBT和ALMA）多个周期/学期的提案排名数据。
• 使用非参数假设检验对男性和女性首席研究员的排名分布进行统计比较，以评估显著性。
• 计算p值和置信水平，以量化观察到的提案排名差异的可靠性。
• 检查评审小组中性别分布与观察到的性别相关结果差异之间的相关性。
• 将结果与HST（Reid 2014）和ESO（Patat 2016）的先前研究交叉参照，以提供背景支持。
• 使用双尾检验评估男性和女性PI潜在排名分布是否存在统计差异。

实验结果

研究问题

• RQ1 在ALMA和其他NRAO设施中，男性和女性首席研究员的提案排名结果是否存在统计上显著的差异？
• RQ2 评审小组的性别构成是否与观察到的提案排名中基于性别的差异相关？
• RQ3 性别偏见的大小和显著性在不同ALMA周期和NRAO学期之间如何变化？
• RQ4 观察到的性别相关趋势是否与HST和ESO提案评审流程中报告的趋势一致或不同？
• RQ5 首席研究员的资历在多大程度上可能影响观察到的基于性别的提案结果差异？

主要发现

• 在ALMA第2至4周期的提案评审过程中，发现存在统计上显著的、有利于男性首席研究员的性别相关效应，其潜在排名分布存在差异的可靠性达到99.998%。
• 最显著且影响最大的效应出现在ALMA第3周期，表明按性别划分的提案排名差异在此周期达到峰值。
• 在其他三个NRAO设施（JVLA、VLBA、GBT）的2012A至2017A年学期中也观察到类似但不够一致的性别相关趋势，可靠性水平为98.3%，且部分学期中效应方向发生反转。
• 未发现评审小组中性别比例与观察到的提案排名性别差异之间存在显著相关性。
• 研究结果与HST（Reid 2014）和ESO（Patat 2016）的先前发现一致，尽管HST和ESO研究在首席研究员资历对结果差异的作用方面得出了不同结论。
• 目前NRAO和ALMA用户群体中首席研究员资历的数据不足，无法分析资历是否可能调节观察到的性别相关排名效应。