[논문 리뷰] Mitigating Gender Bias in Machine Translation with Target Gender Annotations

Artūrs Stafanovičs, Toms Bergmanis외 1명|arXiv (Cornell University)|2020. 10. 13.

Natural Language Processing Techniques참고 문헌 39인용 수 28

한 줄 요약

이 논문은 신경 기계 번역(NMT)에서 성별 편향을 줄이기 위해 훈련 데이터에 단어 수준의 성별 주석(Target Gender Annotations, TGA)을 통합함으로써, 가용한 경우 명시적인 성별 정보를 사용할 수 있도록 하는 방법을 제안한다. 다섯 개의 언어 쌍에 대한 실험에서 TGA는 WinoMT 벤치마크 정확도를 최대 25.8个百分点 향상시켰으며, 특히 상용 공개 참조 해석 도구와 조합할 경우 성별 스테레오타입에 대한 의존도를 크게 감소시켰다.

ABSTRACT

When translating "The secretary asked for details." to a language with grammatical gender, it might be necessary to determine the gender of the subject "secretary". If the sentence does not contain the necessary information, it is not always possible to disambiguate. In such cases, machine translation systems select the most common translation option, which often corresponds to the stereotypical translations, thus potentially exacerbating prejudice and marginalisation of certain groups and people. We argue that the information necessary for an adequate translation can not always be deduced from the sentence being translated or even might depend on external knowledge. Therefore, in this work, we propose to decouple the task of acquiring the necessary information from the task of learning to translate correctly when such information is available. To that end, we present a method for training machine translation systems to use word-level annotations containing information about subject's gender. To prepare training data, we annotate regular source language words with grammatical gender information of the corresponding target language words. Using such data to train machine translation systems reduces their reliance on gender stereotypes when information about the subject's gender is available. Our experiments on five language pairs show that this allows improving accuracy on the WinoMT test set by up to 25.8 percentage points.

연구 동기 및 목표

• 성별에 암시적인 소스 문장을 성별 표시가 있는 언어로 번역할 때 NMT 시스템의 성별 편향을 해결하기 위해.
• 성별 정보 확보를 번역 학습 작업에서 분리하여, 외부 성별 신호의 다양한 출처를 영속적으로 통합할 수 있도록 하기 위해.
• 훈련 중에 명시적인 성별 주석을 활용하여, WinoMT와 같은 편향 번역 벤치마크에서의 NMT 성능을 향상시키기 위해.
• TGA가 자원이 적은 환경뿐 아니라 대규모 상용 NMT 시스템에서도 효과적임을 입증하기 위해.

제안 방법

• 목표 언어 단어의 문법적 성별 정보를 해당하는 소스 언어 단어에 투영하여 단어 수준의 성별 주석을 생성한다.
• 이러한 주석을 훈련 데이터에 통합하여 NMT 모델이 성별 정보를 가용할 경우 이를 활용하도록 학습시킨다.
• 성별 정보 확보 과정을 모델 훈련에서 분리함으로써, 참조 해석 도구와 같은 다양한 외부 자료를 활용할 수 있도록 한다.
• TGA를 사용하여 모델를 미세 조정함으로써 추론 시 성별 스테레오타입에 대한 의존도를 줄인다.
• 실험에서는 오라클 주석(완벽한 성별 레이블)과 상용 공개 참조 해석 도구(AllenNLP 및 Hugging Face)에서 제공하는 실제 주석을 모두 사용한다.
• 성능 평가는 WinoMT 벤치마크에서 평가되며, 정확도 및 ΔG, M:F 비율과 같은 편향 메트릭을 측정한다.

실험 결과

연구 질문

• RQ1 성별에 암시적인 소스 문장을 성별 표시가 있는 목표 언어로 번역할 때, 단어 수준의 성별 주석이 NMT 시스템의 성별 편향을 줄일 수 있는가?
• RQ2 오라클 주석과 비교해 볼 때, TGA가 상용 공개 참조 해석 도구와 조합되었을 경우 얼마나 효과적인가?
• RQ3 TGA의 효과가 훈련 데이터 크기에 따라 달라지며, 대규모 상용 NMT 시스템에 대해서도 확장 가능한가?
• RQ4 TGA를 사용하여 성별 정보 확보를 모델 훈련에서 분리하고, 다양한 외부 자료를 영속적으로 통합할 수 있는가?
• RQ5 TGA는 WinoMT 벤치마크에서 얼마나 성능을 향상시키며, 특히 스테레오타입 성별 번역을 줄이는 데 얼마나 효과적인가?

주요 결과

• 오라클 성별 주석을 사용한 TGA로 인해 다섯 개의 언어 쌍에서 WinoMT 정확도가 최대 25.8个百分点 향상되었다.
• TGA를 사용한 기업용 대용량 데이터 시스템은 기준 모델 대비 M:F 비율에서 7.1个百分点 향상되고, ΔG에서 12.5个百分点 향상되었다.
• AllenNLP에서 제공한 성별 주석을 사용한 TGA는 오라클 주석을 사용했을 때 대비 WinoMT 정확도가 4.5–7.1% 감소에 그쳤다.
• 대용량 데이터 시스템에서 TGA를 사용한 결과는 WMT 데이터 시스템보다 더 큰 편향 메트릭 향상 효과를 보였으며, 이는 TGA가 더 큰 스케일 환경에서 더 효과적임을 시사한다.
• 실제 공개 참조 해석 도구를 사용한 경우에도 오라클 레이블이 아닌 경우에도 TGA는 모든 다섯 개 언어 쌍에서 기준 모델을 초월하는 성능을 보였다.
• 이 방법은 수작업 데이터나 복잡한 재평가가 필요 없이 외부 성별 신호를 통합할 수 있도록 하여 실세계 시스템에 실용적으로 구현 가능하게 한다.