[논문 리뷰] Gender Lost In Translation: How Bridging The Gap Between Languages Affects Gender Bias in Zero-Shot Multilingual Translation

Lena Cabrera, Jan Niehues|arXiv (Cornell University)|2023. 05. 26.

Natural Language Processing Techniques인용 수 4

한 줄 요약

이 논문은 언어에 관계없이 표현되는 표현 방식과 다리 역할을 하는 언어의 선택이 영어와 같은 언어에 관계없이 다국어 신경 기계 번역(NMT)에서 성별 편향에 어떻게 영향을 미치는지 조사한다. 특히 성별을 반영하는 어순어(예: 독일어, 스페인어)에서 문법적 성별을 유지하는 데 중점을 둔다. 언어에 관계없이 표현되는 표현 방식은 영상 번역에서 남성 성별 편향을 감소시키며, 독일어나 스페인어처럼 성별을 강하게 반영하는 다리 역할 언어를 사용할 경우, 영상 번역보다 다리 번역이 더 공정한 성별 유지 성능을 보인다.

ABSTRACT

Neural machine translation (NMT) models often suffer from gender biases that harm users and society at large. In this work, we explore how bridging the gap between languages for which parallel data is not available affects gender bias in multilingual NMT, specifically for zero-shot directions. We evaluate translation between grammatical gender languages which requires preserving the inherent gender information from the source in the target language. We study the effect of encouraging language-agnostic hidden representations on models' ability to preserve gender and compare pivot-based and zero-shot translation regarding the influence of the bridge language (participating in all language pairs during training) on gender preservation. We find that language-agnostic representations mitigate zero-shot models' masculine bias, and with increased levels of gender inflection in the bridge language, pivoting surpasses zero-shot translation regarding fairer gender preservation for speaker-related gender agreement.

연구 동기 및 목표

• 다국어 NMT에서 예측할 수 없는 언어 쌍 간의 번역 방식이 성별 편향에 미치는 영향, 특히 문법적 성별 유지 측면에서의 영향을 조사한다.
• 예측할 수 없는 언어 쌍에 대해 영상 번역과 다리 기반 번역 간의 성별 유지 공정성 측면에서의 성능을 비교한다.
• 다리 언어의 성별 반영 수준이 두 번역 방식 모두에서 성별 편향에 미치는 영향을 평가한다.
• 언어에 관계없이 표현되는 표현 방식을 통해 번역 품질을 향상시키면 영상 모델의 성별 편향이 감소하는지 평가한다.

제안 방법

• 연구는 언어에 관계없이 표현되는 은닉 표현을 유도하기 위한 기법을 사용해 미세조정된 다국어 신경 기계 번역(MNMT) 모델을 사용한다.
• 예측할 수 없는 언어 쌍에 대해 영상 번역(직접적인 다국어 번역)과 다리 기반 번역(중간 다리 언어 사용)을 평가한다.
• 다리 언어로는 성별 반영 수준이 낮은 영어, 중간 수준의 스페인어, 높은 성별 반영 수준을 가진 독일어를 사용하여 다리 언어의 영향을 평가한다.
• 성별 유지 능력을 평가하기 위해 참조 번역문을 참조적 성별과 문법적 성별로 주석 처리한 자료를 사용하며, 목표 언어에서 대명사 일치를 중심으로 분석한다.
• 언어에 관계없이 표현되는 표현을 유도하기 위해 세 가지 모델 수정 기법을 적용한다: 적대적 훈련, 대비 학습, 분리된 표현 학습.
• 평가 지표는 번역 출력물에서 남성과 여성 성별 유지 비율을 비교하여 성별 편향을 분석하는 데 집중한다.

(a) Illustration of the translation between grammatical gender languages (Italian $\leftrightarrow$ French) examined in this work; here, for Italian $\rightarrow$ French translation of the utterance “I felt alienated” . Information necessary to disambiguate gender (bold) was always conveyed by the s

실험 결과

연구 질문

• RQ1 RQ1: 영상 번역과 다리 기반 번역 간의 예측 불가능한 방향 번역에서 성별 편향이 어떻게 다르게 나타나는가?
• RQ2 RQ2: 다리 언어가 영상 번역과 다리 기반 번역이 유지하는 성별 편향에 영향을 미치는가?
• RQ3 RQ3: 영상 모델의 번역 품질 향상이 성별 편향을 감소시키는가?

주요 결과

• 영어를 다리 언어로 사용할 경우, 영상 번역은 다리 번역보다 여성 성별 유지 능력에서 뛰어나며, 다양한 모델과 접근 방식에서 관찰되는 일관된 남성 성별 편향을 줄인다.
• 독일어나 스페인어처럼 성별 반영 수준이 높은 다리 언어를 사용할 경우, 다리 번역은 영상 번역보다 더 균형 잡힌 성별 유지 능력을 보이며, 화자 관련 성별 일치를 더 잘 유지한다.
• 언어에 관계없이 표현되는 표현 방식은 영상 모델에서 남성 성별 편향을 크게 감소시켜 양성별 성별 유지의 공정성을 향상시킨다.
• 적대적 훈련, 대비 학습, 분리된 표현 학습을 포함한 세 가지 언어에 관계없이 표현되는 표현을 유도하는 수정 기법은 모두 영상 모델의 남성 및 여성 성별 유지 능력을 향상시켜 성능 격차를 좁혔다.
• 영어를 통해 다리 번역을 수행할 경우, 언어에 관계없이 표현되는 표현 방식을 적용한 영상 모델이 성별 공정성 측면에서 다리 번역을 능가한다. 이는 연속적인 표현 방식이 이산적인 다리 기반 방법보다 성별 신호를 더 잘 유지함을 시사한다.
• 연구는 다리 언어의 언어학적 특성, 특히 성별 반영 수준이 다국어 번역에서 성별 유지의 공정성에 결정적인 역할을 한다는 점을 드러냈다.

(b) The richness of the gender-inflectional system of the bridge language, used to facilitate translation for unseen language pairs, affects models’ ability to preserve the gender information from the source sentence. Scarcity of gender inflection in the bridge language (e.g., English) causes models