[논문 리뷰] Investigating Failures of Automatic Translation in the Case of Unambiguous Gender

Adithya Renduchintala, Adina Williams|arXiv (Cornell University)|2021. 04. 16.

Gender Studies in Language참고 문헌 42인용 수 12

한 줄 요약

이 논문은 20개의 언어에서 성별 어용어 번역 정확도를 평가하기 위한 새로운 벤치마크 데이터셋을 소개한다. 이는 성별이 명확하게 드러나는 맥락에서의 성별 어용어 번역 정확도를 평가하는 데 중점을 두며, 성별이 명확하게 드러나는 맥락에서도 모델들이 성별 어용어 번역에서 뿐만 아니라 여성 성별을 유발하는 경우에 더 심각한 성능 저하를 보이며, 성별 추론에 대한 체계적인 실패를 드러낸다.

ABSTRACT

Transformer based models are the modern work horses for neural machine translation (NMT), reaching state of the art across several benchmarks. Despite their impressive accuracy, we observe a systemic and rudimentary class of errors made by transformer based models with regards to translating from a language that doesn't mark gender on nouns into others that do. We find that even when the surrounding context provides unambiguous evidence of the appropriate grammatical gender marking, no transformer based model we tested was able to accurately gender occupation nouns systematically. We release an evaluation scheme and dataset for measuring the ability of transformer based NMT models to translate gender morphology correctly in unambiguous contexts across syntactically diverse sentences. Our dataset translates from an English source into 20 languages from several different language families. With the availability of this dataset, our hope is that the NMT community can iterate on solutions for this class of especially egregious errors.

연구 동기 및 목표

• 성별 중립 언어(예: 영어)에서 성별 표시가 있는 언어로 번역할 때, Transformer 기반 NMT 모델이 성별 어용어 번역에서 체계적인 실패를 보이는지 규명하고 측정하는 것.
• 성별 어용어 오류를 고립시키기 위해 맥락적 성별 명확성을 확보하는 표준화된, 모호하지 않은 평가 벤치마크를 만드는 것.
• 번역에서 성별 편향이 원인은 맥락의 모호성보다 아키텍처나 훈련 제약에 기인하는지 조사하는 것.
• 성별을 시사하는 맥락(예: 형용사, 동사, 대명사)이 성별 어용어 번역 성능에 미치는 영향을 평가하는 것.
• NLP 커뮤니티가 성별 번역에서 반복되고 심각한 오류를 수정하기 위한 전용 솔루션 개발을 장려하는 것.

제안 방법

• 핵심어(예: '의사', '간호사')를 포함한 영어 원문 문장을 구성하여, 문법적으로 성별 중립이지만 핵심어에 의해 성별이 명확하게 연결되도록 한다(예: '내 어머니는 의사예요', '그녀는 간호사예요').
• 핵심어에 따라 성별이 명확하게 드러나도록 핵심어 대명사(예: '그녀의', '그의')나 명사(예: '아버지', '누나')를 사용하는 문장 템플릿을 설계하여 성별에 대한 모호성이 없도록 한다.
• 성별을 통계적으로 시사하는 형용사(예: '아름다운', '예쁜')와 동사(예: '보호하다', '감화시키다')를 추가하여 이러한 단서가 모델의 정확도에 어떤 영향을 미치는지 평가한다.
• 20개의 다양한 언어(다양한 언어 가문에 속함)에서 최신의 Transformer 기반 NMT 모델들(예: m2m, Opus-MT)을 평가한다.
• 목표 언어에서 성별 표시의 정확한 일치를 기준으로 성능을 측정하며, 모든 번역에 대해 인간 검증 기준값을 확보한다.
• 성별 어용어의 성별(남성 대비 여성), 단어 순서(트리거어가 직업 명사 이전/이후), 그리고 직업어와 트리거어의 성별 스테레오타입 일치 여부에 따라 성능 차이를 분석한다.

실험 결과

연구 질문

• RQ1 원문 맥락에서 성별이 명확하게 지정되어 있을 때, 최신의 Transformer 기반 NMT 모델이 성별 어용어를 올바르게 번역하는 데 얼마나 실패하는가?
• RQ2 핵심어 대명사나 명사의 성별(예: '그녀의' 대비 '그의')이 모델의 성별 표시 정확도에 유의미한 영향을 미치는가?
• RQ3 통계적으로 성별을 시사하는 형용사나 동사가 존재할 경우, 명확한 맥락에서 모델이 정확한 성별을 추론하는 데 어떤 영향을 미치는가?
• RQ4 직업어가 트리거어의 성별과 다른 성별과 관련된 스테레오타입을 가질 경우, 모델 간 성능에 차이가 나는가?
• RQ5 단어 순서(트리거어가 직업 명사 이전 또는 이후에 오는가)가 성별 어용어 번역 정확도에 어떤 영향을 미치는가?

주요 결과

• 모든 테스트된 Transformer 기반 NMT 모델이 성별 어용어 번역에서 최대 70%의 정확도를 기록했으며, 우르두어와 같은 언어에서는 50% 이하로 떨어졌다.
• 트리거어가 여성(예: '그녀의', '누나')을 가리킬 경우, 남성(예: '그의', '형')을 가리킬 경우보다 모델의 성능이 뚜렷이 열 劣하다.
• 원어에서의 직업어 성별이 트리거어의 성별과 일치할 경우 정확도가 높아졌으며, 이는 스테레오타입 일치에 대한 편향이 있음을 시사한다.
• 통계적으로 성별을 시사하는 형용사나 동사를 포함시켜도 성별 어용어 번역 정확도가 향상되었지만, 체계적인 모델 실패를 완전히 보완하지 못했다.
• 동일 모델의 소형 및 대형 버전이 적은 언어에서 유사한 성능을 보이며, 크기만으로는 핵심 문제를 해결하지 못한다는 것을 시사한다.
• 벤치마크는 모호성이 없음에도 성격 어용어 오류가 지속됨을 드러내며, 기본 언어적 특징에 대한 주의 또는 감독의 근본적인 실패를 시사한다.