[논문 리뷰] Neural Machine Translation Doesn't Translate Gender Coreference Right Unless You Make It
이 논문은 NMT에서 명시적 단어 수준 성별 굴절 태깅을 통해 번역의 성별 굴절 정확도를 향상시키고, coreference-aware 태깅(V3/V4)이 과일반화를 감소시키고 정확도를 개선하며 중립 성별 시나리오를 포함해 성과를 보여준다.
Neural Machine Translation (NMT) has been shown to struggle with grammatical gender that is dependent on the gender of human referents, which can cause gender bias effects. Many existing approaches to this problem seek to control gender inflection in the target language by explicitly or implicitly adding a gender feature to the source sentence, usually at the sentence level. In this paper we propose schemes for incorporating explicit word-level gender inflection tags into NMT. We explore the potential of this gender-inflection controlled translation when the gender feature can be determined from a human reference, or when a test sentence can be automatically gender-tagged, assessing on English-to-Spanish and English-to-German translation. We find that simple existing approaches can over-generalize a gender-feature to multiple entities in a sentence, and suggest effective alternatives in the form of tagged coreference adaptation data. We also propose an extension to assess translations of gender-neutral entities from English given a corresponding linguistic convention, such as a non-binary inflection, in the target language.
연구 동기 및 목표
- 성별 의존적 코퍼런스가 있는 언어의 문법적 성별 번역에서 NMT의 편향성을 동기화하고 정량화한다.
- 대상 언어의 성별 굴절을 제어하기 위해 명시적 단어 수준 성별 굴절 태그를 제안한다.
- 영어→스페인어 및 영어→독일어에 대해 이진 및 중립(논바이너리) 시나리오를 포함한 태그 기반 적응 체계를 평가한다.
- 태깅이 자동으로 라벨링될 수 있는지 여부를 평가하고 대상 언어의 성별 중립 인플레이션을 시뮬레이션하기 위한 중립 보강 번역 세트를 탐구한다.
제안 방법
- 대상 단어에 명시적 성별 태그를 부착한 소형 합성 데이터세트에서 Transformer NMT 모델을 미세조정한다.
- BLEU를 유지하면서 번역을 성별 굴절로 제약하기 위해 성별 대안 격자 재검색을 사용한다.
- 주요 엔터티와 보조 엔터티의 굴절에 초점을 맞춘 WinoMT 기반 지표로 과일반화를 탐지한다.
- 자동 라벨링 가능성을 시험하기 위해 RoBERTa 기반 자동 태깅을 도입한다.
- 대응 데이터를 중립 보강 세트로 확장하여 대상 언어의 성별 중립 굴절을 시뮬레이션한다.
실험 결과
연구 질문
- RQ1명시적 단어 수준 성별 태그가 코퍼런스 문장의 대상 언어 번역의 문법적 성별 굴절을 제어할 수 있는가?
- RQ2간단한 태깅 체계가 문장 내 여러 엔터티에 대해 과일반화를 유발하는가?
- RQ3태깅된 코퍼런스 적응 접근법(다중 엔터티 훈련)이 단일 엔터티 태깅보다 과일반화를 줄이는 데 더 효과적인가?
- RQ4태깅된 코퍼런스 접근법이 대상 언어의 합성 중립 굴절을 다루어 성별 중립 referents를 처리할 수 있는가?
- RQ5테스트 데이터에서 성별 신호를 식별하기 위한 자동 RoBERTa 기반 태깅이 인간 라벨링과 비교하여 얼마나 잘 작동하는가?
주요 결과
- 간단한 성별 신호는 종종 다수의 엔터티로 과일반화되어 보조 참조 대상의 번역 품질을 저하시킨다.
- V3(태깅된 다중 엔터티 적응)가 가장 큰 이익을 낳으며: en-de 정확도 17% 상승, en-es 30% 상승, 작은 ΔL2 증가로 과일반화를 감소시킴.
- V1과 V2는 비태깅 엔터티에 대한 더 강한 과일반화를 나타내는 더 큰 ΔL2를 보인다.
- 자동으로 라벨링된 WinoMT 문장은 참조 라벨링 문장과 비슷한 정확도를 달성하며, RoBERTa 예측과 인간 라벨 간 일치도 84%이다.
- 중립(성별 중립) 실험에서 태깅으로 주 엔터티 정확도가 향상되며(V4에서 en-es 최고 56.5%), 보조 엔터티 굴절은 체계에 따라 다양한 ΔL2를 보인다.
이 논문 읽기
누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.
누빈트에서 이 논문 읽기이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.