[논문 리뷰] Gender-preserving Debiasing for Pre-trained Word Embeddings

Masahiro Kaneko, Danushka Bollegala|arXiv (Cornell University)|2019. 06. 03.

Topic Modeling참고 문헌 31인용 수 21

한 줄 요약

이 논문은 사전에 학습된 단어 임베딩에서 불공정한 성별 스테레오타입을 제거하면서도 여성성, 남성성, 성별 중립성 단어에 대한 비차별적 성별 관련 정보를 유지하는 성별 유지(debiasing) 방법을 제안한다. 노이즈 제거 오토인코더 프레임워크를 사용하여, 표준 데이터셋에서 최신 기법들보다 우수한 성능을 보이며, 스테레오타입 단어의 편향을 효과적으로 제거하면서 의미 유사도나 유사도 성능을 떨어뜨리지 않는다.

ABSTRACT

Word embeddings learnt from massive text collections have demonstrated significant levels of discriminative biases such as gender, racial or ethnic biases, which in turn bias the down-stream NLP applications that use those word embeddings. Taking gender-bias as a working example, we propose a debiasing method that preserves non-discriminative gender-related information, while removing stereotypical discriminative gender biases from pre-trained word embeddings. Specifically, we consider four types of information: \emph{feminine}, \emph{masculine}, \emph{gender-neutral} and \emph{stereotypical}, which represent the relationship between gender vs. bias, and propose a debiasing method that (a) preserves the gender-related information in feminine and masculine words, (b) preserves the neutrality in gender-neutral words, and (c) removes the biases from stereotypical words. Experimental results on several previously proposed benchmark datasets show that our proposed method can debias pre-trained word embeddings better than existing SoTA methods proposed for debiasing word embeddings while preserving gender-related but non-discriminative information.

연구 동기 및 목표

• 사전에 학습된 단어 임베딩에서 발생하는 불공정한 성별 편향 문제를 해결함으로써, 후속 NLP 응용 프로그램에 악영향을 미치지 않도록 하는 것.
• 예를 들어 '간호사'(여성성), '의사'(남성성), '테이블'(성별 중립성)와 같은 단어들에서 비차별적 성별 관련 정보를 유지하는 것.
• 특히 '프로그래머'(남성 스테레오타입) 또는 '가사도우미'(여성 스테레오타입)와 같은 단어들에서 스테레오타입 성별 편향을 구체적으로 제거하는 것.
• 편향 제거 후에도 표준 NLP 평가 과제에서 의미 품질과 성능을 유지하는 방법을 개발하는 것.
• 기존의 편향 제거 기법들과 함께 사용할 수 있도록 하여 잔여 성별 편향을 추가로 감소시키는 것.

제안 방법

• 시드 단어 세트를 기반으로 단어를 네 가지 유형으로 분류함: 여성성(비차별적), 남성성(비차별적), 성별 중립성, 스테레오타입(편향됨).
• 편향 제거된 임베딩 공간을 학습하는 인코더와 원래 단어 임베딩을 재구성하는 디코더를 갖춘 노이즈 제거 오토인코더를 활용함.
• 비스테레오타입 단어에서 성별 관련 정보를 유지하고, 스테레오타입 단어에서 편향을 제거하는 것을 동시에 목표로 하여 엔드 투 엔드로 모델을 훈련함.
• 손실 함수는 네 가지 목표를 동적으로 균형 조절함: 여성성 및 남성성 단어 표현의 유지, 성별 중립성 단어의 중립성 유지, 스테레오타입 단어의 편향 제거.
• 사전에 학습된 GloVe 임베딩에 적용 가능하며, 기존 기법들(예: GN-GloVe)에 의해 처리된 임베딩을 추가로 편향 제거하는 데에도 사용할 수 있음.
• 편의성 검출(예: 성별 관계 유사도 분석) 및 균형 잡힌 표준 데이터셋에서의 의미 유사도 과제를 통해 탈편향된 임베딩을 평가함.

실험 결과

연구 질문

• RQ1 편향 제거 방법이 사전에 학습된 단어 임베딩에서 불공정한 성별 스테레오타입을 효과적으로 제거하면서 의미 품질을 떨어뜨리지 않을 수 있는가?
• RQ2 스테레오타입 용어에서 편향을 제거하면서도 '간호사' 또는 '엔지니어'와 같은 단어들에서 비차별적 성별 관련 정보를 어느 정도 유지할 수 있는가?
• RQ3 편향 감소 및 의미 유지 측면에서 제안된 방법은 최신 기법들과 비교해 어떻게 성능을 발휘하는가?
• RQ4 기존 기법들에 의해 이미 편향 제거된 임베딩에 대해 이 방법을 적용하여 잔여 성별 편향을 추가로 감소시킬 수 있는가?
• RQ5 편향 제거 후에도 표준 의미 유사도 및 유사도 과제에서 높은 성능을 유지하는가?

주요 결과

• SemBias 데이터셋에서 하드-디베이징(hard-debiasing)과 GN-GloVe보다 우수한 성능을 보이며, '남성:의사 :: 여성:간호사'와 같은 스테레오타입 성별 유사도 분석을 정확히 처리함.
• 의미 유사도 데이터셋의 균형 잡힌 버전들(예: WS, RG, MEN)에서 원본 GloVe 임베딩과 비교해 유사한 성능을 유지함으로써 강력한 의미 유지 능력을 보임.
• 원본 및 균형 잡힌 유사도 데이터셋에서 인간 평가와 높은 스피어만 상관관계를 기록함으로써, 편향 제거 후에도 의미 정보가 잘 유지됨을 확인함.
• 시각화 결과는 스테레오타입 단어의 성별 유사도 점수를 감소시키지만, 여성성, 남성성, 성별 중립성 단어들 간의 구분된 성별 방향성을 유지함을 확인함.
• 이미 GN-GloVe에 의해 편향 제거된 임베딩에서 잔여 성별 편향을 효과적으로 감소시킴으로써, 후처리 단계로써의 호환성과 효과성을 입증함.
• 탈편향된 임베딩의 오토인코딩된 형태가 모든 의미 유사도 벤치마크에서 원본 입력 임베딩과 유사한 성능을 보이며, 정보 손실가 최소화되었음을 확인함.