[논문 리뷰] Quantifying and Reducing Stereotypes in Word Embeddings

Tolga Bolukbasi, Kai-Wei Chang외 3명|OpenBU (Boston University)|2016. 06. 20.

Hate Speech and Cyberbullying Detection참고 문헌 13인용 수 62

한 줄 요약

이 논문은 미국 기반의 트러커를 통해 인증된 유저 기반의 아날로그 작업과 병행하여 성별 유사성 작업을 통해 단어 임베딩 내 성별 스테레오 타입을 정량화하고 감소시키는 새로운 방법을 제안한다. 이는 의미 유사도 및 아날로그 성능에 미치는 영향을 최소화하면서도 성별 편향을 제거하는 탈편향 알고리즘을 도입하여, 성별 스테레오 타입 분산을 90% 감소시키면서도 후행 작업 정확도를 유지한다.

ABSTRACT

Machine learning algorithms are optimized to model statistical properties of the training data. If the input data reflects stereotypes and biases of the broader society, then the output of the learning algorithm also captures these stereotypes. In this paper, we initiate the study of gender stereotypes in {\em word embedding}, a popular framework to represent text data. As their use becomes increasingly common, applications can inadvertently amplify unwanted stereotypes. We show across multiple datasets that the embeddings contain significant gender stereotypes, especially with regard to professions. We created a novel gender analogy task and combined it with crowdsourcing to systematically quantify the gender bias in a given embedding. We developed an efficient algorithm that reduces gender stereotype using just a handful of training examples while preserving the useful geometric properties of the embedding. We evaluated our algorithm on several metrics. While we focus on male/female stereotypes, our framework may be applicable to other types of embedding biases.

연구 동기 및 목표

• 사전에 학습된 단어 임베딩 내 성별 스테레오 타입을 체계적으로 정량화하는 것, 특히 직업에 관여된 경우를 중심으로 하며.
• 의미적 유용성을 훼손하지 않으면서도 확장 가능한 방식으로 단어 임베딩 내 편향을 감소시키는 방법을 개발하는 것.
• 스테레오 타입 연관성(예: 간호사:여성)이 정의적 연관성(예: 자매:여성)과 탈편향을 통해 분리될 수 있는지 평가하는 것.
• 탈편향 후에도 원본 임베딩 공간의 기하학적 구조를 유지하여 표준 NLP 벤치마크에서의 성능이 계속 유지되는지 확보하는 것.

제안 방법

• 스테레오 타입 및 비스테레오 타입 아날로그 쌍을 생성하기 위해 성별 유사성 작업을 제안하고, 이를 미국 기반의 트러커를 통해 커스터마이징된 인증 작업으로 검증한다.
• 편향을 최소화하면서도 임베딩 공간 내 쌍별 거리 유지에 최적화된 변환 행렬 T를 학습하기 위해 반정부분형 프로그래밍(SDP) 수식을 도입한다.
• 대규모 임베딩에서의 효율적 최적화를 위해 배경 단어 행렬 A에 대해 특이값 분해(SVD)를 적용하여 계산 복잡도를 감소시킨다.
• 스테레오 타입 단어(예: 간호사, 매니저)의 투영이 '그리고'-'그녀' 방향에 대해 최소화되도록 변환 행렬 T를 단어 벡터에 적용하여, 이들이 성별 방향과 수직이 되도록 한다.
• 목적 함수 내 하이퍼파rameter λ를 통해 편향 감소와 거리 유지 간 균형을 조절한다: min ||AXAᵀ − AAᵀ||²_F + λ||PXBᵀ||²_F.
• 소량의 시드 단어(예: 매니저, 간호사)를 사용해 편향 방향을 정의하고, 전체 임베딩 행렬에 변환을 적용한다.

실험 결과

연구 질문

• RQ1 사전에 학습된 단어 임베딩이 유해한 성별 스테레오 타입을 얼마나 심각하게 내재하고 있는가, 특히 전문 직업에 관여된 경우에 대해?
• RQ2 스테레오 타입 연관성(예: 여성:가정주부)은 비스테레오 타입 의미 관계(예: 여성:자매)와 체계적으로 분리될 수 있는가?
• RQ3 소량의 학습 예시만으로도 의미적 및 문법적 작업 성능이 떨어지지 않도록 단어 임베딩 내 성별 편향을 줄일 수 있는가?
• RQ4 탈편향 변환 과정이 원본 임베딩 공간의 기하학적 구조를 유지하는가?

주요 결과

• 원본 임베딩에서 '그리고'-'그녀' 방향에 따른 성별 스테레오 타입 단어의 분산은 0.02에서 탈편향 후 0.001로 감소하여 편향이 90% 감소한 것으로 나타났다.
• 성별 스테레오 타입과 관련이 없는 배경 단어는 분산에 대해 거의 변화가 없었으며(0.005 → 0.0055), 이는 변환 과정이 비편향 의미적 구조를 유지함을 확인한다.
• 탈편향된 임베딩은 표준 벤치마크에서 성능을 유지하거나 약간 향상시켰다: RG 점수는 0.761에서 0.764로, WS353는 0.700에서 0.700으로, RW는 0.471에서 0.472로, MSR-analogy는 0.712에서 0.712로 유지되었다.
• 알고리즘은 he:janitor :: she:housekeeper와 같은 스테레오 타입 아날로그를 성공적으로 감소시켰고, he:realist :: she:feminist와 같은 비스테레오 타입 아날로그는 유지했다.
• SVD 기반 차원 감소를 통해 대규모 임베딩(예: 400k 단어)에서도 탈편향 알고리즘이 계산적으로 실행 가능함을 입증했다.
• 유저 기반 평가 결과, 알고리즘이 의미 일관성과 후행 NLP 작업의 유용성을 유지하면서도 효과적으로 편향을 제거함을 확인했다.