[논문 리뷰] Examining Gender Bias in Languages with Grammatical Gender

Pei Zhou, Weijia Shi외 5명|arXiv (Cornell University)|2019. 09. 05.

Natural Language Processing Techniques참고 문헌 23인용 수 6

한 줄 요약

이 논문은 스페인어 및 프랑스어와 같이 문법적 성이 있는 언어의 단어 임베딩과 이러한 언어를 영어와 정렬하는 双어 임베딩에서 성별 편향을 위한 새로운 메트릭과 보완 방법을 제안한다. 의미적 성별 방향과 문법적 성별 방향을 구분함으로써, 저자들은 편향을 줄이면서도 임베딩의 유용성을 유지하는 하이브리드 탈편향 접근법을 개발하였으며, 단어 유사도, 번역, 연관성 작업에서 뚜렷한 편향 감소 효과를 달성하였다.

ABSTRACT

Recent studies have shown that word embeddings exhibit gender bias inherited from the training corpora. However, most studies to date have focused on quantifying and mitigating such bias only in English. These analyses cannot be directly extended to languages that exhibit morphological agreement on gender, such as Spanish and French. In this paper, we propose new metrics for evaluating gender bias in word embeddings of these languages and further demonstrate evidence of gender bias in bilingual embeddings which align these languages with English. Finally, we extend an existing approach to mitigate gender bias in word embeddings under both monolingual and bilingual settings. Experiments on modified Word Embedding Association Test, word similarity, word translation, and word pair translation tasks show that the proposed approaches effectively reduce the gender bias while preserving the utility of the embeddings.

연구 동기 및 목표

• 스페인어 및 프랑스어와 같이 문법적 성이 있는 언어의 단어 임베딩에서 성별 편향을 식별하고 정량화하는 것. 기존의 영어 중심의 편향 정의가 형태적 일치로 인해 실패하기 때문이다.
• 성별 언어(예: 스페인어, 프랑스어)를 영어와 정렬하는 이중 언어 단어 임베딩에서 성별 편향이 어떻게 유전되는지 분석하는 것.
• 형태적 일치(문법적 성)와 스테레오타입 연관성(의미적 성)을 구분할 수 있는 새로운 평가 메트릭을 개발하는 것.
• 의미적 유용성을 유지하면서도 단일 언어 및 이중 언어 단어 임베딩에서 스테레오타입 성별 편향을 줄이는 탈편향 기법을 제안하고 평가하는 것.
• 이중 언어 설정에서의 편향 완화가 단일 언어 탈편향과 교차 언어 정렬을 조합한 하이브리드 접근법을 통해 효과적으로 달성될 수 있음을 보여주는 것.

제안 방법

• 의미적 성별(예: 'hombre'/'mujer'와 같은 성별 정의 단어 쌍에 대한 PCA를 통한)과 문법적 성별(예: 'agua'/'mesa'와 같은 남성/여성 명사 쌍에 의한) 방향을 정의한다.
• 수정된 단어 임베딩 연관성 테스트(MWEAT)를 사용하여 의미적 및 문법적 방향에서 직업어와 성별 어휘 간의 연관성 강도를 측정함으로써 편향을 정량화한다.
• 두 가지 탈편향 전략을 제안한다: (1) 앵커 포인트 기준으로 의미적 성별 방향에 따라 단어 벡터를 이동시키는 것, (2) 목표 언어에 정렬하기 전에 영어 임베딩을 먼저 탈편향하는 것.
• 이 두 전략을 조합하여 단일 언어 및 이중 언어 임베딩에서 동시에 편향을 완화하는 하이브리드 방법(Hybrid_Ori)을 구현한다.
• 단일 언어(ES, FR) 및 이중 언어(ES-EN, FR-EN) 단어 임베딩에 모두 탈편향 과정을 적용하여, 단어 유사도 및 번역 성능을 유지한다.
• 단어 유사도, 단어 번역, 단어 쌍 번역 작업을 통해 결과를 평가하여 탈편향 후에도 유용성이 유지되었는지 확인한다.

실험 결과

연구 질문

• RQ1 스페인어 및 프랑스어와 같이 성별이 있는 언어의 단어 임베딩에서, 문법적 성별을 초월해 의미적 성별 편향이 얼마나 존재하는가?
• RQ2 성별 언어를 영어와 정렬하는 이중 언어 단어 임베딩에서 성별 편향은 어떻게 나타나는가?
• RQ3 영어를 대상으로 개발된 기존의 탈편향 기법을 문법적 성이 있는 언어에 직접 적용할 수 있는가, 아니면 새로운 정의와 방법이 필요한가?
• RQ4 단일 언어 탈편향과 교차 언어 정렬을 조합한 하이브리드 탈편향 접근법이 효과적으로 편향을 줄이고 임베딩 품질을 유지하는가?
• RQ5 영어와 성별 언어 임베딩 간의 성별 편향 간 상관관계는 무엇이며, 언어 간에 편향은 어떻게 다를까?

주요 결과

• 제안된 하이브리드 탈편향 방법(Hybrid_Ori)은 단일 언어 및 이중 언어 단어 임베딩 모두에서 성별 편향을 뚜렷이 감소시켰으며, ES-EN 및 FR-EN 이중 언어 설정에서 남성/여성 직업 형태 간의 MRR 격차가 거의 0에 수렴하였다.
• 탈편향 후 남성형 및 여성형 직업어 간의 평균 코사인 유사도 차이는 0.1 이하로 감소하여 대칭성이 향상됨을 나타냈다.
• 단어 유사도 및 번역 작업에서 탈편향 후에도 임베딩의 유용성이 유지되었으며, 모든 평가 작업에서 성능 저하가 최소한이었다.
• 영어와 스페인어 단어 임베딩 간의 성별 편향 간에 통계적으로 유의미한 스피어만 상관관계(r = 0.45, p = 0.0004)가 존재하여, 언어 간에 공통된 편향 패tern이 있음을 시사했다.
• 연구는 문법적 성별(예: 'enfermero' 대비 'enfermera')은 자연스럽게 성별 정보를 담고 있으며 편향으로 간주되어서는 안 되지만, 의미적 편향(예: 'abogado'가 'abogada'보다 'lawyer'에 더 가까움)은 문제이며 보완이 필요하다고 확인했다.
• 결과는 이중 언어 임베딩가 단일 언어 원천으로부터 의미적 성별 편향을 유전하고 강화함을 보여주었으며, 다국어 환경에서의 타겟된 탈편향이 필수적임을 시사한다.