[논문 리뷰] Equalizing Gender Biases in Neural Machine Translation with Word Embeddings Techniques

Joel Escudé Font, Marta R. Costa‐jussà|arXiv (Cornell University)|2019. 01. 10.

Natural Language Processing Techniques참고 문헌 19인용 수 44

한 줄 요약

본 논문은 Transformer NMT 시스템에서 사용되는 단어 임베딩의 편향을 제거하여 영어‑스페인어 번역의 성별 편향을 줄이고, BLEU 점수를 유지하거나 향상시킨다.

ABSTRACT

Neural machine translation has significantly pushed forward the quality of the field. However, there are remaining big issues with the output translations and one of them is fairness. Neural models are trained on large text corpora which contain biases and stereotypes. As a consequence, models inherit these social biases. Recent methods have shown results in reducing gender bias in other natural language processing tools such as word embeddings. We take advantage of the fact that word embeddings are used in neural machine translation to propose a method to equalize gender biases in neural machine translation using these representations. Specifically, we propose, experiment and analyze the integration of two debiasing techniques over GloVe embeddings in the Transformer translation architecture. We evaluate our proposed system on the WMT English-Spanish benchmark task, showing gains up to one BLEU point. As for the gender bias evaluation, we generate a test set of occupations and we show that our proposed system learns to equalize existing biases from the baseline system.

연구 동기 및 목표

• 타깃 직업군 테스트 세트를 사용하여 신경망 기계 번역에서 성별 편향을 평가한다.
• NMT 프레임워크 내에서 단어 임베딩(GloVe 변형)에 대한 디베이지화 전략을 평가한다.
• 성별 편향 지표와 함께 번역 품질 영향(BLEU)을 측정한다.
• 사전 학습된 임베딩의 인코더-전용, 디코더-전용, 인코더+디코더 배치를 비교한다.

제안 방법

• 기준으로 Transformer 기반 NMT(OpenNMT 구현)을 채택한다.
• 인코더, 디코더 또는 둘 다에 사전 학습된 단어 임베딩(GloVe 변형)을 사용한다.
• debiasing 기법 적용: Bolukbasi 스타일의 하드 디배이즈와 GN-GloVe 성별 중립 임베딩.
• 512차원 임베딩 및 표준 OpenNMT 하이퍼파라미터로 학습한다.
• newstest2013에서 BLEU로 번역을 평가하고 Occupations 테스트 세트로 성별 편향을 평가한다.

실험 결과

연구 질문

• RQ1 디배이즈드되었거나 성별 중립 단어 임베딩을 NMT에 포함시키면 번역의 성별 편향이 감소하는가?
• RQ2 사전 학습된 임베딩의 서로 다른 배치(인코더, 디코더, 또는 둘 다)가 BLEU 점수와 편향 완화에 어떤 영향을 미치는가?
• RQ3 디배이즈 기술이 번역 품질을 얼마나 보존하면서 출력에서 성별 고정관념을 줄이는가?

주요 결과

• BLEU 점수는 크게 저하되지 않으며, 경우에 따라 개선되는데, 특히 인코더와 디코더 모두에서 GN-GloVe일 때 그렇다.
• GN-GloVe 임베딩이 Enc./Dec.에서 시험 구성 중 가장 높은 BLEU를 달성한다(30.74).
• 편향 제거 임베딩은 Occupations 테스트에서 올바른 성별 번역을 크게 증가시키며, 예를 들어 여성 대명사 예측 정확도가 베이스라인 대비 최대 약 30퍼센트 포인트까지 개선된다.
• Hard-Debiased GloVe와 GN-GloVe는 일반적으로 비편향 베이스라인보다 성별 중립 번역 작업에서 더 우수하다.
• 사전 학습 임베딩 사용은 일반적으로 BLEU 이점을 가져오고 English-Spanish NT의 번역 품질을 유지한다.
• Occupations 테스트는 맥락 기반 성별 해석이 디배이징으로 개선됨을 보여주는 반면 일부 직업 번역은 여전히 도전적이다.