[논문 리뷰] Double-Hard Debias: Tailoring Word Embeddings for Gender Bias Mitigation

Tianlu Wang, Xi Lin외 4명|arXiv (Cornell University)|2020. 05. 03.

Topic Modeling참고 문헌 25인용 수 7

한 줄 요약

이 논문은 사전에 훈련된 단어 임베딩에서 어휘 빈도에 기인한 왜곡을 먼저 제거한 후 하드 디비어스 기법을 적용하여 성별 편향을 완화하는 이중 단계 후처리 방법인 Double-Hard Debias를 제안한다. 이 방법은 다양한 벤치마크에서 성별 편향을 크게 감소시키면서도 의미적 품질을 유지하며, 표현 수준 및 최종 작업 평가에서 이전의 디비어스 기법들을 능가한다.

ABSTRACT

Word embeddings derived from human-generated corpora inherit strong gender bias which can be further amplified by downstream models. Some commonly adopted debiasing approaches, including the seminal Hard Debias algorithm, apply post-processing procedures that project pre-trained word embeddings into a subspace orthogonal to an inferred gender subspace. We discover that semantic-agnostic corpus regularities such as word frequency captured by the word embeddings negatively impact the performance of these algorithms. We propose a simple but effective technique, Double Hard Debias, which purifies the word embeddings against such corpus regularities prior to inferring and removing the gender subspace. Experiments on three bias mitigation benchmarks show that our approach preserves the distributional semantics of the pre-trained word embeddings while reducing gender bias to a significantly larger degree than prior approaches.

연구 동기 및 목표

• 기존의 후처리 디비어스 기법(예: 하드 디비어스)이 어휘 빈도와 같은 코퍼스 정규성의 영향을 받아 성별 방향을 정확히 분리하지 못하는 한계를 해결하기 위해.
• 어휘 빈도 통계가 단어 임베딩의 성별 방향을 어떻게 왜곡하고 디비어스 성능을 저하시키는지 조사하기 위해.
• 사전에 훈련된 임베딩의 의미적 분포적 성질을 유지하면서도 뛰어난 성별 편향 감소를 달성하는 디비어스 기법을 개발하기 위해.
• 다양한 벤치마크에서 제안된 방법의 효과성을 평가하기 위해, 예를 들어 유사어 분석, WEAT, 이웃 관계 메트릭, 공명사용 해소 등

제안 방법

• 주로 빈도 영향을 받는 부분공간에 대해 주성분분석을 적용하여 사전에 훈련된 단어 임베딩에서 지배적인 빈도 관련 성분을 식별하고 제거한다.
• 정제된 임베딩에 대해 원본 하드 디비어스 알고리즘을 적용하여 성별 방향을 제거한다. 이는 이제 빈도 효과에 의해 덜 왜곡된 상태에서 이루어지므로 성능 향상이 가능하다.
• 빈도 성분은 어휘 빈도의 변화가 성별 차이 벡터와 다른 성별 벡터 간 코사인 유사도에 미치는 영향을 분석함으로써 식별되며, 가장 영향력 있는 빈도 방향을 특정한다.
• 두 단계의 투영을 사용한다: 먼저 빈도 수직 부분공간으로, 그 다음 성별 수직 부분공간으로 투영함으로써, 성별 편향 제거 과정이 빈도 통계에 의해 혼동되지 않도록 보장한다.
• 이 방법은 GloVe와 fastText 임베딩에 적용되며, 내재적 평가(예: WEAT, 이웃 관계) 및 외재적 평가(예: 공명사용 해소) 기반의 다양한 벤치마크를 통해 평가된다.

실험 결과

연구 질문

• RQ1 학습 코퍼스의 어휘 빈도가 단어 임베딩의 성별 방향을 얼마나 심각하게 왜곡하는가? 이는 후처리 디비어스의 효과를 떨어뜨리는가?
• RQ2 단어 임베딩에서 빈도 관련 성분을 제거하면 성별 방향 추정 정확도와 이후 디비어스 성능이 향상되는가?
• RQ3 Double-Hard Debias는 이전 방법들과 비교해 성별 편향 감소 성능이 뛰어나면서도 단어 임베딩의 의미적 품질을 유지하는가?
• RQ4 이 방법은 다양한 평가 프로토콜(예: 유사어 분석, WEAT, 공명사용 해소)에서 어떻게 성능을 발휘하는가?

주요 결과

• Double-Hard Debias는 WEAT 및 이웃 관계 메트릭에서 성별 편향을 크게 감소시켜, 하드 디비어스 및 기타 후처리 기법을 포함한 모든 이전 디비어스 기법들을 능가한다.
• 공명사용 해소 벤치마크에서 Double-Hard GloVe는 모든 디비어스 모델 중에서 가장 높은 성능을 기록하여, 최종 NLP 작업에서의 공정성 향상을 입증한다.
• 어휘 유사도 및 개념 분류 작업에서 네 개의 벤치마크 데이터셋에서 원본 GloVe와 유사한 성능을 보이며, 의미적 유사성 유지가 확인되었다.
• 실험 결과, 어휘 빈도 조정이 성별 차이 벡터의 유사도에 큰 변화를 초래하는 것으로 나타나, 빈도가 성별 방향 추정에 강력하게 왜곡을 유도함을 확인하였다.
• 주성분분석을 통해 식별된 가장 영향력 있는 빈도 성분을 제거할 경우 디비어스 성능 향상이 가장 크게 나타나, 이 방법의 설계 선택이 타당함을 입증하였다.