[論文レビュー] Gender-Related Systematics in the NRAO and ALMA Proposal Review Processes

Carol J. Lonsdale, Frederic R. Schwab+1 more|arXiv (Cornell University)|Nov 15, 2016

Geography and Environmental Studies in Latin America参考文献 1被引用数 3

ひとこと要約

本研究は、2012Aから2017AにかけてNRAOおよびALMA施設における助成申請の査読結果における性別に関する格差を調査した。ALMAサイクル2〜4において、男性主査研究者に有利なバイアスが統計的に有意に99.998%の信頼性で確認された。特にサイクル3で顕著な傾向が見られ、他のNRAO電波望遠鏡に対しても一貫性はやや低いが顕著な影響が見られたが、査読パネルの性別構成との相関は観察されなかった。

ABSTRACT

A study has been made of the evidence for gender-related systematics in the proposal review processes for the four facilities operated by NRAO: the Jansky Very Large Array (JVLA; hereafter VLA), the Very Long Baseline Array (VLBA), the Green Bank Telescope (GBT) and the Atacama Large Millimeter/submillimeter Array (ALMA) in Chile which is operated by NRAO/AUI in partnership with the European Southern Observatory (ESO) and the National Astronomical Observatories of Japan (NAOJ), in cooperation with the Republic of Chile. A significant gender-related effect is found in the proposal rankings in favor of men over women in the ALMA Proposal Review Processes (PRP) for ALMA Cycles 2-4, with reliability of 99.998% that the underlying rank distributions for male and female PIs are not the same. The effect is largest and most significant for ALMA Cycle 3. A similar overall result is found for the other three NRAO telescopes over proposal Semesters 2012A-2017A, but with lower reliability level overall (98.3%), and with some reversals across semesters in the trend for better performance in the rankings for male PIs. The results align with similar studies recently completed for the HST (Reid 2014) and the ESO proposal review processes (Patat 2016). No correlations are found between the gender-related proposal ranking trends and the gender fractions on review panels. The HST and ESO proposal reviews have come to different conclusions from each other on the role of seniority on the gender-related proposal outcomes at those observatories. The currently available data for the ALMA and NRAO user base do not allow us to investigate the important question of the dependence on the gender-related trends of the seniority of the principal investigators.

研究の動機と目的

• NRAOおよびALMA施設の助成申請査読プロセスにシステム的性別バイアスが存在するかどうかを調査すること。
• 男性または女性の主査研究者（PI）のどちらが助成申請評価においてより好ましいランクを得るかを特定すること。
• 査読パネルの構成、特にパネルメンバーの性別割合が性別に基づく結果の格差と相関するかどうかを評価すること。
• HSTおよびESOの助成申請プロセスに関する類似研究と比較し、共通のパターンや相違点を同定すること。
• PIの経験年数が性別に起因する助成結果に与える影響を評価すること。ただし、データの制限により明確な結論は得られない。

提案手法

• 2012A〜2017Aの複数のサイクル／学期にわたる、NRAO施設4か所（JVLA、VLBA、GBT、ALMA）の助成申請ランクデータの分析。
• 男性PIと女性PIのランク分布を非パラメトリック仮説検定を用いて統計的に比較し、有意性を評価。
• p値および信頼水準の計算により、助成申請ランクの差の信頼性を定量化。
• 査読パネルの性別構成と観察された性別格差との相関関係の検討。
• HST（Reid 2014）およびESO（Patat 2016）に関する先行研究と照合し、研究結果を文脈づける。
• 両側検定を用いて、男性PIと女性PIの背後にあるランク分布が統計的に異なるかどうかを評価。

実験結果

リサーチクエスチョン

• RQ1 ALMAおよび他のNRAO施設において、男性PIと女性PIの助成申請ランク結果に統計的に有意な差が存在するか。
• RQ2 査読パネルの性別構成が、観察された性別格差と相関するか。
• RQ3 性別バイアスの大きさと有意性は、異なるALMAサイクルおよびNRAO学期間でどのように変化するか。
• RQ4 観察された性別バイアスの傾向は、HSTおよびESOの助成申請査読プロセスで報告されたものと一致するか、あるいは異なるか。
• RQ5 主査研究者の経験年数が、観察された性別バイアスに及ぼす影響はどの程度か。

主な発見

• ALMA助成申請査読プロセスにおいて、男性PIに有利な統計的に有意な性別バイアスが確認された。サイクル2〜4において、男性PIと女性PIの背後にあるランク分布が異なるという仮説の信頼性は99.998%であった。
• 最も顕著で有意な影響はALMAサイクル3に見られ、性別による助成申請ランクの格差がピークに達した。
• 他の3つのNRAO施設（JVLA、VLBA、GBT）においても、2012A〜2017Aの間、やや一貫性は低いが顕著な性別バイアスの傾向が観察された。信頼水準は98.3%であり、いくつかの学期で効果の方向が逆転した。
• 査読パネルの性別割合と、観察された性別バイアスの結果格差との間に有意な相関は認められなかった。
• HST（Reid 2014）およびESO（Patat 2016）の先行研究と一致するが、HSTおよびESOの研究ではPIの経験年数が結果格差に与える役割について異なる結論に至った。
• NRAOおよびALMAのユーザー基盤におけるPIの経験年数に関するデータが不十分なため、経験年数が観察された性別バイアスのランク効果を緩和する可能性を分析することは現段階で不可能である。