[논문 리뷰] Assessing Gender Bias in Machine Translation -- A Case Study with Google Translate

Marcelo Prates, Pedro H. C. Avelar외 1명|arXiv (Cornell University)|2018. 09. 06.

Text Readability and Simplification인용 수 14

한 줄 요약

이 연구는 구글 번역에서 성별 편향을 조사한다. 성중립 문장(예: '그/그녀는 엔지니어다')을 12개 언어에서 영어로 번역함으로써, 특히 과학, 기술, 공학, 수학(STEM) 직업에서 실질적인 성별 분포와는 상관없이 남성 중심의 대명사 사용이 뚜렷하게 나타남을 확인하였다. 저자들은 구글 번역이 번역 결과에서 여성의 비중을 체계적으로 낮추고 있음을 입증하며, 이는 인구 통계 데이터를 넘어서는 편향임을 시사하고, 통계적 기계 번역 파이프라인에 편향 제거 기법을 통합할 것을 주장한다.

ABSTRACT

Recently there has been a growing concern about machine bias, where trained statistical models grow to reflect controversial societal asymmetries, such as gender or racial bias. A significant number of AI tools have recently been suggested to be harmfully biased towards some minority, with reports of racist criminal behavior predictors, Iphone X failing to differentiate between two Asian people and Google photos' mistakenly classifying black people as gorillas. Although a systematic study of such biases can be difficult, we believe that automated translation tools can be exploited through gender neutral languages to yield a window into the phenomenon of gender bias in AI. In this paper, we start with a comprehensive list of job positions from the U.S. Bureau of Labor Statistics (BLS) and used it to build sentences in constructions like "He/She is an Engineer" in 12 different gender neutral languages such as Hungarian, Chinese, Yoruba, and several others. We translate these sentences into English using the Google Translate API, and collect statistics about the frequency of female, male and gender-neutral pronouns in the translated output. We show that GT exhibits a strong tendency towards male defaults, in particular for fields linked to unbalanced gender distribution such as STEM jobs. We ran these statistics against BLS' data for the frequency of female participation in each job position, showing that GT fails to reproduce a real-world distribution of female workers. We provide experimental evidence that even if one does not expect in principle a 50:50 pronominal gender distribution, GT yields male defaults much more frequently than what would be expected from demographic data alone. We are hopeful that this work will ignite a debate about the need to augment current statistical translation tools with debiasing techniques which can already be found in the scientific literature.

연구 동기 및 목표

• 기계 번역 시스템이 구글 번역처럼 성별 편향을 대명사 선택 과정에서 보이는지 조사하기.
• 이러한 편향이 직업 분야의 실제 성별 분포를 반영하는지, 아니면 이를 초월하는지 검토하기.
• 언어 유형(예: 성중립 언어 vs. 성별을 나타내는 언어)이 번역 편향에 어떤 영향을 미치는지 평가하기.
• 자동 번역 시스템을 통해 사회적 성별 고정관념을 탐지할 수 있는지 평가하기.
• 통계적 기계 번역 파이프라인에 편향 제거 기법을 통합할 것을 주장하기.

제안 방법

• 미국 고용통계국(BLS)의 직업 명칭을 사용해 성중립 문장을 구성하였으며, 형식은 '그/그녀는 [직업]이다'였다.
• 구글 번역 API를 사용해 12개의 성중립 언어(예: 헝가리어, 중국어, 요르바어)에서 영어로 번역하였다.
• 번역 결과물에서 남성, 여성, 성중립 대명사의 빈도를 수집하고 분석하였다.
• 각 직업 분야에서 실제 여성의 참여 비율을 BLS 데이터와 비교해 여성 대명사의 빈도를 분석하였다.
• '조용한', '죄책감을 느끼는' 같은 형용사를 사용해 성별에 치중된 수식어가 번역에서 대명사 선택에 어떤 영향을 미치는지 테스트하였다.
• 헝가리어, 중국어, 바스크어 등 다양한 언어의 번역 결과를 비교해 언어별 편향의 차이를 평가하였다.

실험 결과

연구 질문

• RQ1 성중립 문장을 영어로 번역할 때, 구글 번역이 남성 중심의 대명사 선택을 보이는가?
• RQ2 각 직업 분야에서 번역 결과의 여성 대명사 빈도가 실제 여성 참여 비율과 어느 정도 상관관계가 있는가?
• RQ3 특히 성중립 언어인 다양한 원천 언어가 번역 결과의 성별 편향 정도에 어떤 영향을 미치는가?
• RQ4 성별에 치중된 형용사(예: '조용한', '죄책감을 느끼는')가 번역 결과에서 여성 또는 남성 대명사의 비율을 비정상적으로 높이는가?
• RQ5 기계 번역 결과물이 훈련 데이터에 내재된 사회적 성별 고정관념을 탐지하는 데 유용한 지표가 될 수 있는가?

주요 결과

• 구글 번역은 특히 과학, 기술, 공학, 수학(STEM) 직업 명칭에서 성중립 언어를 사용할 때조차도 강력한 남성 중심의 대명사 사용을 보였다.
• 번역 결과에서 남성 대명사의 빈도는 해당 직업 분야의 실제 여성 참여 비율을 고려할 때 기대되는 수준을 크게 초월했다.
• 예를 들어, 여성 비율이 낮은 직업(예: '소프트웨어 개발자')에서도 여전히 기대치를 초월하는 비율의 남성 대명사가 나타났다.
• '조용한'과 '매력적인' 같은 형용사는 여성 대명사 비율이 높게 번역되었고, 반면 '죄책감을 느끼는'과 '잔인한'은 거의 전적으로 남성 대명사와 연결되었다.
• 헝가리어는 중국어보다 더 균형 잡힌 대명사 분포를 보였으며, 이는 언어 구조가 편향 전파에 영향을 미칠 수 있음을 시사한다.
• 바스크어와 요르바어는 종종 성중립 번역을 내보냈지만, 바스크어의 경우 특정 성별이 확인되지 않는 대명사 비율이 높아 언어별 편향 탐지의 어려움을 보여주었다.