[논문 리뷰] Neutralizing Gender Bias in Word Embedding with Latent Disentanglement and Counterfactual Generation

Seungjae Shin, Kyungwoo Song외 4명|arXiv (Cornell University)|2020. 04. 07.

Topic Modeling참고 문헌 25인용 수 7

한 줄 요약

이 논문은 성별과 의미적 요소를 분리하기 위해 기울기 반전을 통한 시아모이 자동에코더를 사용한 잠재적 분리 기반으로, 성별 편향이 있는 단어 임베딩을 중화시키는 새로운 방법을 제안한다. 성별 잠재 코드를 뒤집어 반사 임베딩을 생성하고 기하학적 정렬 정규화를 적용하여 성별 중립화된 임베딩을 도출함으로써, 성별 편향을 크게 줄이면서도 NLP 작업 전반에서 의미적 일관성을 유지한다.

ABSTRACT

Recent research demonstrates that word embeddings, trained on the human-generated corpus, have strong gender biases in embedding spaces, and these biases can result in the discriminative results from the various downstream tasks. Whereas the previous methods project word embeddings into a linear subspace for debiasing, we introduce a extit{Latent Disentanglement} method with a siamese auto-encoder structure with an adapted gradient reversal layer. Our structure enables the separation of the semantic latent information and gender latent information of given word into the disjoint latent dimensions. Afterwards, we introduce a extit{Counterfactual Generation} to convert the gender information of words, so the original and the modified embeddings can produce a gender-neutralized word embedding after geometric alignment regularization, without loss of semantic information. From the various quantitative and qualitative debiasing experiments, our method shows to be better than existing debiasing methods in debiasing word embeddings. In addition, Our method shows the ability to preserve semantic information during debiasing by minimizing the semantic information losses for extrinsic NLP downstream tasks.

연구 동기 및 목표

• 사람이 생성한 코퍼스를 학습 데이터로 사용함으로써 발생하는 사전 학습된 단어 임베딩의 성별 편향을 해결하기 위함.
• 단어 임베딩 공간 내에서 성별 정보와 의미적 내용을 분리하기 위함.
• 하류 NLP 작업에서 성능 저하를 최소화하기 위해 편향 제거 과정에서 의미 정보를 유지하기 위함.
• 편향 제거된 임베딩이 성별 외에는 의미적으로 다름이 없도록 보장하기 위한 기하학적 정렬 메커니즘 개발.
• 선형 편향 제거를 넘어서 비선형 반사 생성을 활용해 일반화된 방법 개발.

제안 방법

• 기울기 반전 레이어를 갖춘 시아모이 자동에코더 아키텍처를 사용하여 단어 임베딩 내 성별 및 의미 잠재 요소를 분리한다.
• 기울기 반전 레이어를 활용해 의미 정보가 성별을 추론하는 데 사용되지 않도록 하여 분리 강제.
• 성별 잠재 코드만 뒤집고 의미 잠재 코드는 유지함으로써 반사 단어 임베딩을 생성한다.
• 커널 함수를 사용한 기하학적 정렬 정규화를 적용하여 원본 및 반사 임베딩을 정렬함으로써 의미적 이동 최소화.
• 원본 및 반사 임베딩 간의 보간을 통해 성별에 영향을 받는 영향을 최소화하는 성별 중립 임베딩을 구성.
• 주성분 분석과 기니 지수를 활용해 단어 쌍 간의 성별 방향 벡터의 선형 정렬 정도 평가.

실험 결과

연구 질문

• RQ1 기울기 반전을 적용한 딥 오토에코더는 단어 임베딩 내 성별과 의미적 요소를 효과적으로 분리할 수 있는가?
• RQ2 반사 임베딩 생성 기법이 선형 투영 기법보다 더 강력한 성별 중화 성능을 보이는가?
• RQ3 기존의 편향 제거 기반 대비 제안된 방법이 하류 NLP 작업에서 의미 정보를 얼마나 잘 유지하는가?
• RQ4 기하학적 정렬 정규화는 편향 제거 과정에서 단어 쌍의 상대적 의미적 구조를 얼마나 잘 유지하는가?
• RQ5 클러스터링 및 단어 이웃의 성별 비율과의 상관관계 측정을 통해 간접적인 성별 편향을 줄일 수 있는가?

주요 결과

• 제안된 CF-Debias-KA 방법은 성별 편향 단어 집합에서 클러스터 분류 정확도가 가장 낮아 (16.0%) 우수한 성별 불변성을 보였다.
• CF-Debias-KA는 성별 방향 벡터와의 내적값과 단어 이웃의 성별 비율 간 피어슨 상관계수가 최소 (0.15)로 간접적 편향이 감소했음을 시사했다.
• 모든 하류 작업에서 가장 낮은 성능 저하를 보였다: POS 태깅 (-0.2%), POS 추출 (-0.3%), NER (-0.5%), 모든 기준선을 능가했다.
• CF-Debias-KA 하에서 성별 단어 쌍의 차분 벡터 분산이 첫 번째 몇 개의 주성분에 집중되어 있으며 기니 지수 0.78로 성별 방향의 강한 선형 정렬을 나타냈다.
• LLE 시각화 결과는 성별 방향이 일관되게 유지되었고, 'housekeeper'와 'statistician'과 같은 편향된 단어들이 편향 제거된 공간에서 성공적으로 중화되었음을 확인했다.
• 기존 방법 대비 의미적 일관성이 더 잘 유지되었으며, 외재적 NLP 평가에서 성능 저하가 최소화되어 이를 입증했다.