[논문 리뷰] Understanding the Origins of Bias in Word Embeddings

Marc-Etienne Brunet, Colleen Alkalay-Houlihan외 2명|arXiv (Cornell University)|2018. 10. 08.

Topic Modeling참고 문헌 19인용 수 64

한 줄 요약

논문은 소규모 학습 코퍼스 부분을 제거했을 때 편향이 단어 임베딩에 미치는 영향을 근사하기 위한 효율적인 영향-함수 기반 방법을 도입하여 전체 재훈련 없이도 편향 유발 문서를 식별할 수 있게 한다.

ABSTRACT

The power of machine learning systems not only promises great technical progress, but risks societal harm. As a recent example, researchers have shown that popular word embedding algorithms exhibit stereotypical biases, such as gender bias. The widespread use of these algorithms in machine learning systems, from automated translation services to curriculum vitae scanners, can amplify stereotypes in important contexts. Although methods have been developed to measure these biases and alter word embeddings to mitigate their biased representations, there is a lack of understanding in how word embedding bias depends on the training data. In this work, we develop a technique for understanding the origins of bias in word embeddings. Given a word embedding trained on a corpus, our method identifies how perturbing the corpus will affect the bias of the resulting embedding. This can be used to trace the origins of word embedding bias back to the original training documents. Using our method, one can investigate trends in the bias of the underlying corpus and identify subsets of documents whose removal would most reduce bias. We demonstrate our techniques on both a New York Times and Wikipedia corpus and find that our influence function-based approximations are very accurate.

연구 동기 및 목표

• 단어 임베딩에서 편향이 어떻게 발생하는지에 대한 동기 및 형식화와 그 기원을 이해하는 것이 왜 중요한지 설명한다.
• 재훈련 없이 개별 문서를 제거했을 때 임베딩 편향에 미치는 영향을 추정하는 실용적 방법을 제안한다.
• 위키피디아와 NYT 코퍼스에서 GloVe에 이 방법을 적용하고 ground-truth 재훈련 결과와의 정확도를 검증한다.
• 영향력 있는 문서가 WEAT 편향 지표와 어떻게 관련되는지 분석하고 word2vec에 대한 로버스트니스와 같은 교차 방법성을 탐구한다.
• 학습 코퍼스 내 편향 분포에 대한 질적 인사이트와 WEAT의 한계점에 대해 논의한다.

제안 방법

• 차별 편향의 차이 정의 formalize differential bias: define the bias change when removing a corpus part p as ΔpB = B(w) − B(ŵ).
• 공동출현 perturbations를 코퍼스의 공동출현 행렬 X를 문서별 행렬 X(k)의 합으로 다항식으로 분해한다.
• bias gradient ∇X B(w(X))를 이용하여 X의 작은 섭동으로 편향이 어떻게 변화하는지 근사한다(연쇄 법칙 ∇X B(w(X)) = ∇w B(w) ∇X w(X)).
• 문서를 제거했을 때 각 단어 벡터 wi가 어떻게 변하는지 근사하기 위한 GloVe의 효율적, 블록 대각 Hessian 구조를 유도한다: ŵi ≈ w*i − (1/V) Hwi^−1 [∇wi Li(ṼXi, w) − ∇wi Li(Xi, w)].
• 문서의 WEAT-관련 단어에 대해서만 변화를 계산하여 Δdoc B ≈ Bweat(w*) − Bweat(ŵ)를 얻는다.
• 알고리즘 1: Differential Bias 근사치를 적용하여 재훈련 없이 모든 문서에 대한 근사를 수행한다.

실험 결과

연구 질문

• RQ1 재훈련된 모델 없이도 학습 코퍼스에서 어떤 문서가 단어 임베딩 편향에 가장 큰 기여를 하는지 식별할 수 있는가?
• RQ2 제안된 차등 편향 근사치가 문서를 제거할 때 실제 편향 변화를 얼마나 정확하게 예측하는가?
• RQ3 방법이 임베딩 체계(GloVe 대 word2vec) 및 편향 지표(WEAT 변형) 간에 일반화되는가?
• RQ4 코퍼스 교란 시 편향 분포 및 희귀 단어에 대해 어떤 질적 패턴이 나타나는가?

주요 결과

데이터셋	WEAT1	WEAT2
Wiki	0.957 ( ±0.150)	0.108 ( ±0.213)
NYT	1.14, ( ±0.124)	1.32, ( ±0.056)

• 근사치는 문서 제거 후 ground-truth 편향 변화와 높은 상관관계를 보이며(r^2 ≥ 0.985 across configurations).
• 타깃 교란(편향 증가/감소 문서 제거)은 무작위 교란보다 편향 변화를 훨씬 더 신뢰성 있게 재현하며, 위키/NYT 테스트에서 40개 타깃 세트 중 고작 2개만 유의성에서 실패했다.
• NYT에서 상위 편향 영향 문서를 제거하면 word2vec의 WEAT1 편향이 크게 감소할 수 있다(예: 1.35의 기준선에서 10k 문서 제거 후 0.11로 감소).
• 방법은 편향 변화 예측에서 PPMI 기반 기준선보다 우수한 성능을 보이며(예: 위키 교란과 유사 케이스의 약 4% 대비 약 40% 감소).
• 방법으로 식별된 영향력 문서는 남성 과학자에 관한 기사처럼 직관적 의미의 내용을 담고 있는 경우가 많으며 희귀 단어가 교란에 더 민감하다는 것을 보여준다.
• 분석은 WEAT의 한계와 취약점(예: 희귀 단어에 대한 민감도)을 노출시키고 다른 편향 지표에 미치는 교차 지표 효과를 보여준다.