[논문 리뷰] Gender Bias in Multilingual Embeddings and Cross-Lingual Transfer

Jieyu Zhao, Subhabrata Mukherjee외 3명|arXiv (Cornell University)|2020. 05. 02.

Topic Modeling참고 문헌 32인용 수 7

한 줄 요약

이 논문은 다국어 단어 임베딩에서의 성별 편향과 그가 다국어 간 전이 학습 중 어떻게 확산되는지 조사한다. 내재적 및 외재적 편향 측정 지표를 제안하고, 성별에 풍부한 언어로의 정렬이 편향을 감소시킴을 보이며, M-BERT가 대상 언어에 따라 편향을 유지하거나 증폭시킬 수 있음을 보여주며, 후행 NLP 작업에서의 실용적인 편향 완화 전략을 제공한다.

ABSTRACT

Multilingual representations embed words from many languages into a single semantic space such that words with similar meanings are close to each other regardless of the language. These embeddings have been widely used in various settings, such as cross-lingual transfer, where a natural language processing (NLP) model trained on one language is deployed to another language. While the cross-lingual transfer techniques are powerful, they carry gender bias from the source to target languages. In this paper, we study gender bias in multilingual embeddings and how it affects transfer learning for NLP applications. We create a multilingual dataset for bias analysis and propose several ways for quantifying bias in multilingual representations from both the intrinsic and extrinsic perspectives. Experimental results show that the magnitude of bias in the multilingual representations changes differently when we align the embeddings to different target spaces and that the alignment direction can also have an influence on the bias in transfer learning. We further provide recommendations for using the multilingual word representations for downstream tasks.

연구 동기 및 목표

• 모든어휘 임베딩에서의 성별 편향이 다국어 정렬과 다국어 간 전이 학습 과정에서 어떻게 전파되는지 이해하는 것.
• 다양한 언어에 적용 가능한 내재적 및 외재적 편향 측정 방법을 개발하는 것.
• 정렬 대상(예: 영어 대비 성별에 풍부한 언어)이 다국어 임베딩의 편향에 어떤 영향을 미치는지 평가하는 것.
• M-BERT와 같은 컨텍스트 기반 모델이 다양한 언어와 전이 방향에서 편향을 어떻게 보이는지 평가하는 것.
• 다국어 NLP 시스템에서 편향을 줄이기 위한 실용적인 권고 사항을 제공하는 것.

제안 방법

• 내재적 및 외재적 편향 평가를 위한 다국어 편향 분석 데이터셋을 구축하여 영어, 스페인어, 독일어, 프랑스어를 포함한다.
• 다국어 임베딩 공간에서 성별 관련 단어의 연관성을 기반으로 내재적 편향 측정 지표를 제안한다.
• 전이 학습을 통한 외재적 편향 평가 설계: 영어에서 학습하고, 성별 균형이 맞춰진 데이터와 균형이 맞지 않은 데이터를 사용해 다른 언어에서 테스트한다.
• 단어 임베딩 연관 테스트(WEAT)와 직업어에 대한 성별 분류 정확도를 사용해 편향을 평가한다.
• 적대적 탈편향을 통한 편향 완화를 적용하며, 덜 편향된 기준 공간(예: ENDEB)으로 임베딩을 정렬한다.
• 다양한 언어 전이 방향에서 fastText 기반 다국어 임베딩과 M-BERT 간의 성능 및 편향을 비교한다.

실험 결과

연구 질문

• RQ1 단일 언어 임베딩에서의 성별 편향은 정렬 이후 다국어 임베딩에 어떻게 나타나는가?
• RQ2 정렬 대상의 선택(예: 영어 대비 성별에 풍부한 언어)은 다국어 표현의 편향에 어떤 영향을 미치는가?
• RQ3 다국어 임베딩의 편향이 후행 다국어 간 전이 학습 작업으로 얼마나 전파되는가?
• RQ4 M-BERT와 같은 컨텍스트 기반 모델이 정적 다국어 임베딩에 비해 편향과 성능 측면에서 어떻게 다른가?
• RQ5 간단한 완화 기법이 전이 성능을 희생시키지 않고 다국어 임베딩의 편향을 줄일 수 있는가?

주요 결과

• 다국어 임베딩의 편향은 정렬 대상에 따라 크게 달라지며, 성별에 풍부한 언어(예: 스페인어)로의 정렬이 영어로의 정렬보다 편향을 더 효과적으로 감소시킨다.
• 다국어 임베딩 기반 전이 학습 모델은 측정 가능한 성별 편향을 보이며, 프랑스어 데이터에서 성별 분류 정확도의 평균 절대차이가 8.75이다(표 11).
• 학습 코퍼스를 성별 균형으로 만들었음에도 편향이 여전히 존재함을 확인하여, 편향은 데이터뿐 아니라 임베딩 표현 자체에서 기인함을 시사한다.
• 성별에 풍부한 언어로의 임베딩 정렬이 후행 작업의 편향을 감소시켰으며, EN→ES 전이에서 편향 차이는 4.16(표 8)였고, 영어로 정렬했을 경우 5.48였다는 점을 비교해 보여준다.
• M-BERT는 fastText 임베딩보다 전체적으로 더 높은 성능을 보였지만, 일부 전이 방향(예: EN→FR에서 |diff| = 8.97)에서는 더 높은 편향을 보이며 성능과 공정성 사이의 상충 관계를 보여준다.
• 덜 편향된 기준 공간(예: ENDEB)으로의 정렬을 통한 편향 완화를 적용함으로써 전이 학습에서의 편향이 감소했으며, 이는 탈편향 기법이 다국어 환경에서 효과적임을 입증한다.