[논문 리뷰] A Causal Inference Method for Reducing Gender Bias in Word Embedding Relations

Zekun Yang, Juan Feng|arXiv (Cornell University)|2019. 11. 25.

Topic Modeling참고 문헌 30인용 수 5

한 줄 요약

이 논문은 인과적 추론 기반의 후처리 방법인 반형제 회귀(Half-Sibling Regression, HSR)를 제안하여, 성별 정의어와의 통계적 의존성에 기반해 성별 정의어가 아닌 단어들로부터 비정상적인 성별 정보를 학습하고 제거함으로써 단어 임베딩 내의 성별 편향을 줄인다. 이 방법은 성별 편향 제거, 어휘 수준, 문장 수준, 핵심어 해석 작업 전반에서 최고 성능을 기록하며, 최소한의 하이퍼파라미터 튜닝으로 단어 벡터 관계 내의 성별 편향과 성별 방향 편향을 동시에 감소시킨다.

ABSTRACT

Word embedding has become essential for natural language processing as it boosts empirical performances of various tasks. However, recent research discovers that gender bias is incorporated in neural word embeddings, and downstream tasks that rely on these biased word vectors also produce gender-biased results. While some word-embedding gender-debiasing methods have been developed, these methods mainly focus on reducing gender bias associated with gender direction and fail to reduce the gender bias presented in word embedding relations. In this paper, we design a causal and simple approach for mitigating gender bias in word vector relation by utilizing the statistical dependency between gender-definition word embeddings and gender-biased word embeddings. Our method attains state-of-the-art results on gender-debiasing tasks, lexical- and sentence-level evaluation tasks, and downstream coreference resolution tasks.

연구 동기 및 목표

• 기존의 편향 제거 방법이 성별 방향 외의 단어 벡터 관계 내의 성별 편향을 줄이지 못하는 한계를 해결하기 위해.
• 성별 중립 또는 성별 편향 단어로 사전 분류가 필요 없는 경량의 후처리 방법을 개발하기 위해.
• 성별 방향 편향과 관계 기반 편향이라는 두 가지 유형의 성별 편향을 모두 완화함으로써 단어 임베딩의 공정성과 일반적 품질을 향상시키기 위해.
• 모델 출력 내의 성별 편향을 줄임으로써 핵심어 해석 등의 후행 NLP 작업의 성능을 향상시키기 위해.
• 반형제 회귀 모델을 활용해 단어 임베딩의 편향 제거를 이론적으로 해석 가능한 인과적 프레임워크로 제공하기 위해.

제안 방법

• 이 방법은 인과적 추론에서 유래한 반형제 프레임워크를 사용하여 성별 정의어와 성별 정의어가 아닌 단어들 간의 비정상적인 연관성을 모델링한다.
• Ridge 회귀를 적용하여 성별 정의어와의 통계적 의존성에 기반해 성별 정의어가 아닌 단어 벡터에 영향을 주는 비정상적인 성별 영향을 추정한다.
• 추정된 비정상적인 성별 성분을 원본 단어 벡터에서 빼어 편향 제거된 임베딩을 생성한다.
• 이 방법은 릿지 정규화라는 유일한 하이퍼파라미터만 필요로 하며, 사전에 단어를 성별 중립 또는 편향 단어로 분류할 필요가 없다.
• 편향 제거는 학습 후에 적용되기 때문에, 어떤 사전 학습된 비컨텍스트 워드 임베딩 모델과도 호환된다.
• 이 방법은 인과적 추론에 기반하여 성별 정의어를 배경에서 영향을 주는 혼란 변수로 간주하고, 단어 벡터 관계에 영향을 미치는 방식으로 이론적으로 탄탄하다.

실험 결과

연구 질문

• RQ1 인과적 추론 기반 방법이 성별 방향 외의 단어 벡터 관계 내의 성별 편향을 효과적으로 줄일 수 있는가?
• RQ2 후처리 방법이 최소한의 하이퍼파라미터 튜닝과 단어 분류 없이 최고 수준의 편향 제거 성능을 달성할 수 있는가?
• RQ3 제안된 방법이 어휘 수준과 문장 수준의 단어 임베딩 의미적 품질을 모두 향상시킬 수 있는가?
• RQ4 이 방법이 후행 핵심어 해석 작업에서 성별 편향을 어느 정도 감소시키는가?
• RQ5 반형제 회귀 프레임워크를 사용해 단어 임베딩 내의 비정상적인 성별 연관성을 분리하고 제거할 수 있는가?

주요 결과

• HSR는 럨어업 메서드보다 GBWR-Correlation 과제에서 6.72%, GBWR-Profession 과제에서 4.98% 향상된 성능을 기록했다.
• 원본 GloVe 임베딩보다 동일 과제에서 각각 16.89%와 17.02% 향상된 성능을 기록했다.
• 여덟 개의 어휘 수준 평가 과제에서 HSR는 이전 최고의 후처리 방법보다 평균 6.96% 향상된 성능을 기록했다.
• 이십 개의 문장 수준 평가 과제에서 HSR는 최고의 이전 방법보다 평균 14.19% 향상된 성능을 기록했다.
• WinoBias 핵심어 해석 과제에서 HSR는 런어업 메서드 대비 프로-스테레오타입 문장과 앤티-스테레오타입 문장 간 정확도 차이를 87.26% 감소시켰다.
• 모든 방법 중에서 가장 낮은 WinoBias-Diff 점수(2.0)를 기록하여 프로-스테레오타입 문장과 앤티-스테레오타입 문장에서 거의 동일한 성능을 보였다.