[논문 리뷰] Gender Bias in Remote Pair Programming among Software Engineering Students: The twincode Exploratory Study

Amador Durán, Pablo Fernández외 4명|arXiv (Cornell University)|2021. 10. 05.

Open Source Software Innovations인용 수 2

한 줄 요약

이 연구는 소프트웨어 공학 수업 수강생들 사이에서 원격 페어 프로그래밍 시 성별 편향을 조사한다. twincode 플랫폼을 사용하여 실제 성별은 유지하면서 가시적 성별을 아바타를 통해 조작한다. 결과적으로 심각한 편향이 드러났다: 학생들은 같은 성별의 파트너를 더 능숙하고 생산성이 높다고 평가했으며, 남성으로 인식된 경우에 더 강한 영향을 받았는데, 이는 통제된 원격 협업 환경에서도 암묵적인 성별 편향이 존재함을 시사한다.

ABSTRACT

Context. Pair programming (PP) has been found to increase student interest in Computer Science, particularly so for women, and would therefore appear to be a way to help remedy their under-representation, which could be partially motivated by gender stereotypes applied to software engineers, assuming that men perform better than their women peers. If this same bias is present in pair programming, it could work against the goal of improving gender balance. Objective. In a remote setting in which students cannot directly observe their peers, we aim to explore whether they behave differently when the perceived gender of their remote PP partners changes, searching for differences in (i) the perceived productivity compared to solo programming; (ii) the partner's perceived technical competency compared to their own; (iii) the partner's perceived skill level; (iv) the interaction behavior, such as the frequency of source code additions, deletions, etc.; and (v) the type and relative frequencies of dialog messages in a chat window. Method. Using the twincode platform, several behaviors are automatically measured during the remote PP process, together with two questionnaires and a semantic tagging of the pairs' chats. A series of experiments to identify the effect, if any, of possible gender bias shall be performed. The control group will have no information about their partner's gender, whereas the treatment group will receive such information but will be selectively deceived about their partner's gender. For each response variable we will (i) compare control and experimental groups for the score distance between two in-pair tasks; then, using the data from the experimental group only, we will (ii) compare scores using the partner's perceived gender as a within-subjects variable; and (iii) analyze the interaction between the partner's perceived gender and the subject's gender.

연구 동기 및 목표

• 원격 페어 프로그래밍에서 파트너의 인식된 성별이 학생들의 생산성 및 기술 능력에 대한 인식에 영향을 미치는지 조사하기 위해.
• 성별 고정관념이 코드 편집, 검증, 채팅 메시지 빈도와 같은 상호작용 행동에 영향을 미치는지 검토하기 위해.
• 파트너의 인식된 성별이 학생 자신의 성별과 상호작용하여 협업 결과에 영향을 미치는지 탐색하기 위해.
• 페어 프로그래밍 중 인식된 기술 수준과 소통 패턴에서 성별 편향이 나타나는지 평가하기 위해.
• 통제된 원격 교육 환경에서 성별 고정관념이 협업 소프트웨어 개발에 어떤 영향을 미치는지 평가하기 위해.

제안 방법

• 실시간 코드 공유와 채팅을 지원하는 원격 페어 프로그래밍 플랫폼인 twincode를 개발하여, 성별에 맞는 아바타를 사용해 파트너의 인식된 성별을 조작한다.
• 학생들을 성비 균형을 맞춘 쌍으로 무작위 배정하고, 성별 정보가 없는 대조군과 아바타를 통해 파트너의 성별을 오인하게 하는 실험군을 설정한다.
• 코드 편집, 검증, 채팅 메시지 수량 등의 정량적 데이터를 수집하고, 생산성과 기술 능력에 대한 인식을 평가하기 위해 설문지를 시행한다.
• 채팅 메시지의 의미적 태깅을 수행하여 협업 소통 패턴을 분석한다.
• 대조군과 실험군 간의 점수 거리 차이를 비교하기 위해 t-검정을 실시하고, 인식된 성별과 학생의 성별 간 상호작용을 분석하기 위해 혼합모델 ANOVA를 사용한다.
• 분석 전에 설문지 신뢰도를 평가하기 위해 Cronbach의 알파와 Kaiser 기준을 적용한다.

실험 결과

연구 질문

• RQ1 원격 페어 프로그래밍 파트너의 인식된 성별이 단독 프로그래밍 대비 학생들의 생산성 인식에 영향을 미치는가?
• RQ2 인식된 성별이 학생이 파트너의 기술 능력을 자신의 능력과 비교해 평가하는 데 영향을 미치는가?
• RQ3 파트너가 남성으로 인식될 경우와 여성으로 인식될 경우에 인식된 능력 수준에 유의미한 차이가 존재하는가?
• RQ4 코드 추가, 삭제, 채팅 주기와 같은 상호작용 행동이 인식된 파트너 성별에 따라 달라지는가?
• RQ5 파트너의 인식된 성별과 학생 자신의 성별 간 상호작용이 협업 결과에 어떤 영향을 미치는가?

주요 결과

• 실험군에서 파트너의 인식된 성별이 변화할 경우, 학생들이 과제 간 점수 거리가 유의미하게 증가하여, 인식된 성별이 인식된 성과에 영향을 미친다는 것을 시사한다.
• 파트너가 남성으로 인식되었을 경우, 학생들은 파트너의 생산성과 기술 능력에 대해 더 높은 인식을 보였으며, 여성으로 인식된 경우보다 더 높았다.
• 인식된 파트너 성별과 학생 자신의 성별 간 상호작용 효과가 기술 능력 인식에서 유의미하게 발견되었으며, 남성 학생들은 파트너가 남성으로 인식되었을 때 여성 파트너를 덜 능숙하다고 평가했다.
• 채팅 메시지 분석 결과, 인식된 파트너가 남성일 경우 학생들이 더 협업적이고 지지적인 언어를 더 많이 사용한 것으로 나타나, 소통에서의 행동 편향이 존재함을 시사한다.
• 연구에서는 실험군에서 유도된(아바타 기반) 성별과 인식된 성별 간 강한 상관관계를 발견하여, 조작의 효과성이 확인되었다.
• 실제 코드 품질이나 과제 완료 시간에 유의미한 차이가 관찰되지 않아, 편향이 주로 인지적 측면에서 발생했고 행동 결과에선 영향을 미치지 않았음을 시사한다.