[논문 리뷰] Gender Bias in Contextualized Word Embeddings

Jieyu Zhao, Tianlu Wang외 4명|ArXiv.org|2019. 04. 05.

Natural Language Processing Techniques참고 문헌 27인용 수 37

한 줄 요약

본 페이퍼는 ELMo 맥락화 임베딩의 성 편향을 분석하고, 왜곡된 학습 데이터에서 편향이 나타난다는 점을 보여주며, WinoBias에서 편향된 다운스트림 핵심참조 결과를 시연하고, 편향 완화 전략으로 데이터 증강(data augmentation)과 임베딩 중화(embedding neutralization)를 비교한다.

ABSTRACT

In this paper, we quantify, analyze and mitigate gender bias exhibited in ELMo's contextualized word vectors. First, we conduct several intrinsic analyses and find that (1) training data for ELMo contains significantly more male than female entities, (2) the trained ELMo embeddings systematically encode gender information and (3) ELMo unequally encodes gender information about male and female entities. Then, we show that a state-of-the-art coreference system that depends on ELMo inherits its bias and demonstrates significant bias on the WinoBias probing corpus. Finally, we explore two methods to mitigate such gender bias and show that the bias demonstrated on WinoBias can be eliminated.

연구 동기 및 목표

• 학습 데이터의 편향으로 인해 ELMo 임베딩이 성 편향을 인코딩한다는 것을 입증한다.
• PCA를 통해 ELMo에서 성 정보의 기하학적 구성을 특징짓는다.
• ELMo가 WinoBias의 핵심참조 시스템에 성 편향을 전달한다는 것을 보인다.
• 다운스트림 작업에서 편향을 줄이기 위한 완화 전략을 평가한다.
• 편향 완화를 위한 데이터 증강과 test-time neutralization을 비교한다.

제안 방법

• Intrinsic analyses on ELMo training data showing gender skew and co-occurrence patterns with occupations.
• Principal Component Analysis to identify gender subspace in ELMo embeddings.
• Train an SVM with RBF kernel to predict gender from ELMo occupation embeddings.
• Evaluate a state-of-the-art coreference system using ELMo on WinoBias to measure pro- vs anti-stereotype performance differences.
• Test two mitigation strategies: (i) training-time data augmentation with gender-swapped data, (ii) test-time embedding neutralization by averaging representations with opposite-gender sentence variants.]
• research_questions:[

실험 결과

연구 질문

• RQ1 ELMo가 맥락화된 임베딩에 성 정보를 인코딩하는가?
• RQ2 ELMo가 인코딩한 성 정보가 남성 및 여성 엔티티 간에 대칭적으로 나타나는가?
• RQ3 ELMo 기반 핵심참조가 WinoBias 데이터셋에서 편향을 보이는가?
• RQ4 데이터 증강이나 임베딩 중화를 통해 편향을 완화할 수 있는가?

주요 결과

• ELMo의 학습 데이터는 남성 엔티티가 여성 엔티티보다 많고 남성 대명사가 직업과 더 자주 동시 등장한다는 점이 전반적으로 나타난다.
• ELMo에는 성 관련 주성분이 두 개 존재하여 맥락적 성 정보와 직업적 성 정보를 나타낸다.
• 분류기가 ELMo 직업 임베딩에서 성별을 높은 정확도로 예측할 수 있으며, 남성 정보가 최소 14% 이상 더 강하게 매핑된다.
• ELMo 기반 핵심참조 시스템은 WinoBias에서 상당한 pro-/anti-stereotype 정확도 차이를 보이며, 이는 GloVe 기반 시스템보다 크게 나타난다.
• 데이터 증강은 핵심참조 모델의 편향을 대체로 완화하지만, test-time neutralization은 편향을 부분적으로 또는 특정 설정에서만 감소시킨다.