[논문 리뷰] Gender Bias in Multilingual Neural Machine Translation: The Architecture Matters

Marta R. Costa‐jussà, Carlos Escolano외 4명|arXiv (Cornell University)|2020. 12. 24.

Natural Language Processing Techniques참고 문헌 34인용 수 8

한 줄 요약

이 논문은 다국어 신경 기계 번역(MNMT) 아키텍처가 성별 편향에 미치는 영향을 조사하며, 동일한 데이터로 훈련된 경우, 공유 인코더-디코더보다 언어별로 특화된 인코더-디코더가 성별 편향을 더 효과적으로 줄이는 것으로 밝혀졌다. 이 개선 효과는 특히 러시아어와 같이 자원이 적은 언어를 포함할 경우, 소스 임베딩에서 더 높은 성별 정보 유지와 더 다양한 주의 메커니즘을 통해 발생한다.

ABSTRACT

Multilingual Neural Machine Translation architectures mainly differ in the amount of sharing modules and parameters among languages. In this paper, and from an algorithmic perspective, we explore if the chosen architecture, when trained with the same data, influences the gender bias accuracy. Experiments in four language pairs show that Language-Specific encoders-decoders exhibit less bias than the Shared encoder-decoder architecture. Further interpretability analysis of source embeddings and the attention shows that, in the Language-Specific case, the embeddings encode more gender information, and its attention is more diverted. Both behaviors help in mitigating gender bias.

연구 동기 및 목표

• 동일한 데이터로 훈련된 다국어 신경 기계 번역(MNMT) 아키텍처가 성별 편향에 영향을 미치는지 조사하기.
• 다국어 번역에서 공유 및 언어별 특화 인코더-디코더 아키텍처 간의 성별 편향 수준을 비교하기.
• 성별 편향 완화의 차이를 유발하는 내부 메커니즘—특히 소스 임베딩과 주의 메커니즘—을 분석하기.
• 수동 분석을 통해 번역 오류에서 지속적인 성별 편향의 언어학적 및 문화적 요인을 탐색하기.

제안 방법

• 연구는 두 가지 MNMT 아키텍처를 평가한다: 공유 인코더-디코더(모든 언어에 대해 하나의 유니버설 모델)와 언어별 특화 인코더-디코더(언어별로 독립된 모델, 파rameter 공유 없음).
• 실험은 네 가지 어휘 쌍: 영어–독일어, 영어–스페인어, 영어–프랑스어, 영어–러시아어에서 수행되며, 유로팔 및 야ндекс의 평행 코퍼스를 사용한다.
• 성별 편향은 표준 WinoMT 벤치마크를 사용해 정량화되며, 번역에서 성별 어휘(예: 직업어)의 잘못된 분류를 측정한다.
• 해석 가능성 분석은 소스 임베딩에 인코딩된 성별 정보와 주의 메커니즘의 분산 계수를 분석함으로써 수행된다.
• 주의 메커니즘의 분산 계수는 주의 범위의 다양성을 평가하는 데 사용되며, 높은 값은 더 넓은 맥락 활용을 의미한다.
• 수동 오류 분석은 잘못 번역된 직업어를 대상으로 하여, 특히 성별 어미나 사용 관례와 같은 언어학적 요인을 규명한다.

실험 결과

연구 질문

• RQ1 공유 모델 대비 언어별 특화 모델을 선택할 경우, 번역에서 성별 편향 수준에 영향을 미치는가?
• RQ2 다른 아키텍처에서 소스 임베딩이 성별 정보를 어떻게 인코딩하는가? 이는 성별 편향에 영향을 미치는가?
• RQ3 주의 메커니즘의 행동(예: 범위와 분포)은 아키텍처 간에 어떻게 다를 수 있으며, 성별 편향에 영향을 미치는가?
• RQ4 언어학적 및 문화적 요인은 무엇이며, 특히 직업어에 대해 지속적인 성별 편향을 초래하는가?
• RQ5 러시아어처럼 자원이 적고 인도유럽어족에 속하지 않는 언어를 포함할 경우, 성별 편향과 아키텍처 성능에 어떤 영향을 미치는가?

주요 결과

• 언어별 특화 인코더-디코더는 공유 인코더-디코더보다 유의미하게 낮은 성별 편향을 보이며, 러시아어가 다국어 설정에 포함될 경우 성능 격차가 더욱 커진다.
• 언어별 특화 아키텍처의 소스 임베딩은 공유 아키텍처보다 더 많은 성별 정보를 인코딩하여 더 나은 성별 예측이 가능하다.
• 언어별 특화 모델의 주의 메커니즘은 더 높은 분산 계수를 보이며, 공유 모델보다 더 넓고 다양한 주의 범위를 활용함을 나타낸다.
• 번역 오류의 대부분은 성별 어휘를 가진 직업어에 대해 남성형 형태를 할당하며, 특히 스페인어나 프랑스어와 같이 역사적으로나 관용적으로 남성형 형태가 우세하거나 일반형으로 사용되는 라틴어계 언어에서 두드러진다.
• 수동 분석을 통해 문화적 관습과 언어학적 형태—예를 들어 프랑스어에서의 일반 남성형 형태나 독일어에서의 성별 접미사—가 많은 지속적인 오류를 설명함을 밝혀냈다. 특히 간호사나 사무원 같은 직업에서 두드러진다.
• 여성형 형태를 잘못 번역한 오류는 드물며, 주로 의미 혼동에서 기인한다. 예를 들어 러시아어에서 '기계사'를 물리학 용어 'механика'로 잘못 번역하는 경우가 있다.