[論文レビュー] Gender Bias in Remote Pair Programming among Software Engineering Students: The twincode Exploratory Study

Amador Durán, Pablo Fernández+4 more|arXiv (Cornell University)|Oct 5, 2021

Open Source Software Innovations被引用数 2

ひとこと要約

本研究では、ソフトウェア工学の学生を対象に、遠隔ペアプログラミングにおける性別バイアスを、アバターを用いて被験者の性別を操作する twincode プラットフォームを用いて調査した。結果として顕著なバイアスが確認された。学生たちは、同性別パートナーをより熟練した人物かつ生産的だと評価しており、特に男性がパートナーであると想定された場合にその影響が顕著であった。これは、制御された遠隔共同作業環境においても、無意識の性別バイアスが存在することを示している。

ABSTRACT

Context. Pair programming (PP) has been found to increase student interest in Computer Science, particularly so for women, and would therefore appear to be a way to help remedy their under-representation, which could be partially motivated by gender stereotypes applied to software engineers, assuming that men perform better than their women peers. If this same bias is present in pair programming, it could work against the goal of improving gender balance. Objective. In a remote setting in which students cannot directly observe their peers, we aim to explore whether they behave differently when the perceived gender of their remote PP partners changes, searching for differences in (i) the perceived productivity compared to solo programming; (ii) the partner's perceived technical competency compared to their own; (iii) the partner's perceived skill level; (iv) the interaction behavior, such as the frequency of source code additions, deletions, etc.; and (v) the type and relative frequencies of dialog messages in a chat window. Method. Using the twincode platform, several behaviors are automatically measured during the remote PP process, together with two questionnaires and a semantic tagging of the pairs' chats. A series of experiments to identify the effect, if any, of possible gender bias shall be performed. The control group will have no information about their partner's gender, whereas the treatment group will receive such information but will be selectively deceived about their partner's gender. For each response variable we will (i) compare control and experimental groups for the score distance between two in-pair tasks; then, using the data from the experimental group only, we will (ii) compare scores using the partner's perceived gender as a within-subjects variable; and (iii) analyze the interaction between the partner's perceived gender and the subject's gender.

研究の動機と目的

• 遠隔ペアプログラミングにおけるパートナーの認識された性別が、学生の生産性および技術的熟練度の認識に影響を与えるかどうかを調査すること。
• 性別ステレオタイプが、コード編集、検証、チャットメッセージ頻度といった相互作用行動に影響を与えるかどうかを検討すること。
• パートナーの認識された性別と学生自身の性別の相互作用が、共同作業の成果に与える影響を調査すること。
• ペアプログラミング中に認識されたスキルレベルとコミュニケーション様式に、性別バイアスが現れるかどうかを評価すること。
• 制御された遠隔教育的環境における、性別ステレオタイプが共同ソフトウェア開発に与える影響を評価すること。

提案手法

• 遠隔ペアプログラミングを可能にする twincode プラットフォームを開発し、リアルタイムでのコード共有とチャットを可能にした。アバターを用いてパートナーの認識された性別を操作した。
• 学生を性別バランスの取れたペアにランダムに割り当て、対照群（性別情報なし）と実験群（アバターによる性別に関する誤認知）を設定した。
• コード編集数、検証回数、チャットメッセージ数の定量的データを収集。生産性および技術的熟練度の認識に関するアンケートを実施。
• チャットメッセージの意味的タグ付けを実施し、共同コミュニケーション様式を分析した。
• スコアのタスク間距離を対照群と実験群で比較するためのt検定と、認識された性別と被験者の性別の相互作用を分析するための混合モデル分散分析（mixed-model ANOVAs）を実施した。
• 分析の前段階で、アンケートの信頼性を評価するために Cronbach’s alpha および Kaiser の基準を適用した。

実験結果

リサーチクエスチョン

• RQ1 認識されたパートナーの性別が、単独プログラミングと比較して学生の生産性認識に影響を与えるか？
• RQ2 認識された性別が、自分自身と比較したパートナーの技術的熟練度の評価に影響を与えるか？
• RQ3 パートナーが男性と認識された場合と女性と認識された場合で、認識されたスキルレベルに顕著な差が生じるか？
• RQ4 コード追加・削除やチャット頻度といった相互作用行動が、パートナーの認識された性別によって変化するか？
• RQ5 パートナーの認識された性別と学生自身の性別の相互作用が、共同作業の成果に与える影響は何か？

主な発見

• 実験群では、パートナーの認識された性別が変化した際、タスク間のスコア距離が顕著に拡大しており、これは認識された性別が認識されたパフォーマンスに影響を与えたことを示している。
• パートナーが男性と認識された場合、女性と認識された場合よりも、学生がより高い生産性と技術的熟練度を認識していた。
• 認識されたパートナーギenderと学生自身の性別の間には、技術的熟練度の認識において顕著な交互作用効果が確認された。男性学生は、パートナーが男性であると信じていた場合、女性パートナーをより熟練度が低いと評価していた。
• チャットメッセージの分析から、認識されたパートナーが男性であると想定された場合、より協働的かつ支援的言語を用いる傾向が見られた。これは、コミュニケーションにバイアスが存在することを示唆している。
• 本研究では、誘導された（アバターによる）性別と認識された性別との間に強い相関が確認された。これは、操作が有効であったことを裏付けている。
• 実際のコード品質やタスク完了時間に顕著な差は認められなかった。これは、バイアスが主に認識的であり、結果としての行動的要因ではないことを示している。