[논문 리뷰] Attenuating Bias in Word Vectors

Sunipa Dev, Jeff M. Phillips|arXiv (Cornell University)|2019. 01. 23.

Hate Speech and Cyberbullying Detection인용 수 96

한 줄 요약

논문은 간단하고 자동적인 방법으로 편향 방향을 식별(종종 이름 사용)하고 단어 벡터를 투영하여 성별, 인종, 연령 편향을 약화시키며, 일부 지표에서 기존의 하드 디배이싱 방법보다 우수하고 비성별 편향까지 확장된다.

ABSTRACT

Word vector representations are well developed tools for various NLP and Machine Learning tasks and are known to retain significant semantic and syntactic structure of languages. But they are prone to carrying and amplifying bias which can perpetrate discrimination in various applications. In this work, we explore new simple ways to detect the most stereotypically gendered words in an embedding and remove the bias from them. We verify how names are masked carriers of gender bias and then use that as a tool to attenuate bias in embeddings. Further, we extend this property of names to show how names can be used to detect other types of bias in the embeddings such as bias based on race, ethnicity, and age.

연구 동기 및 목표

• 단어 임베딩에서 편향 제거를 동기화하여 차별적 결과를 방지한다.
• 이름이나 단어 쌍에서 파생된 간단하고 자동적인 편향 방향을 도입한다.
• projection-based debiasing 방법은 일부 설정에서 하드 디배이싱보다 성능이 우수하다.
• 이름이 성별을 넘어서 인종, 국적, 연령 편향을 포착하고 디배이싱을 안내할 수 있음을 보여준다.
• crowdsourcing을 피하는 자동 지표로 디배이싱을 평가한다.

제안 방법

• 편향을 E_j의 편향된 단어 쌍의 차이 e_i^+ - e_i^-로부터 도출된 하위공간 v_B로 표현한다.
• 프로젝션 π_B(w) = <w, v_B> v_B를 정의하여 단어 벡터에서 편향 성분을 제거한다.
• 단순 선형 프로젝션을 Bolukbasi 등 HD(Hard Debiasing)와 비교하고 일부 설정에서 더 강한 편향 완화를 보인다.
• 부분 프로젝션과 감쇠 함수 f_i(η)를 도입하여 큰 직교 성분을 가진 단어의 편향 제거를 제한하고 매개변수 σ(1로 설정)로 제어한다.
• 이름 기반 방향 v_B,names(평균 남성 대 여성 이름 벡터를 통해)로 성 편향을 감지하고 제거하여 쌍 기반 방향과 유사한 결과를 얻는다.
• 원시 텍스트를 편향 주입 접근으로 뒤집는(0.5, 0.75, 1.0 확률) 아이디어를 탐색하고, 편향에 대한 의도치 않은 영향을 평가한다.
• 자동 지표로 편향을 정량화: WEAT, Embedding Coherence Test (ECT), EQT(단어 쌍과 이름 둘 다의 경우), 그리고 표준 유사도/유추 테스트.

실험 결과

연구 질문

• RQ1 간단하고 자동적인 선형 프로젝션이 편향 방향에 따라 임베딩의 편향을 효과적으로 감소시킬 수 있는가?
• RQ2 이름이 성별 편향을 식별하는 견고한 부트스트랩이며 인종, 국적, 연령 편향으로 확장될 수 있는가?
• RQ3 프로젝션 기반 디배이싱 방법은 편향 완화와 어휘/의미의 완전성에서 이전의 하드 디배이싱과 어떻게 비교되는가?
• RQ4 어떤 자동 지표가 디배이싱 후 남은 편향과 보존된 구조를 가장 잘 포착하는가?
• RQ5 훈련 코퍼스의 텍스트 반전 전략이 결과 임베딩의 편향에 의미 있게 영향을 미치는가?

주요 결과

• 간단한 선형 프로젝션은 테스트에서 종종 Hard Debiasing보다 편향 감소에 더 효과적이다(예: 프로젝션 후 WEAT 점수가 악화가 덜함).
• 이름을 사용하여 성별 편향 방향을 정의하는 것은 편향 식별 및 제거에서 단어 쌍 방법과 유사한 결과를 낸다.
• 이름은 성별을 넘어 편향을 드러낼 수 있어 인종(Hispanic vs European-American, African-American vs European-American) 및 연령 관련 편향의 탐지와 완화를 가능하게 한다.
• 정량적 평가에서 WEAT 점수가 원래의 약 1.623에서 각 방법에서 약 1.1–1.23으로 감소하여 편향이 감소함을 보여준다; ECT 점수는 프로젝션(v_B 사용 시 약 0.996 등)에서 개선되거나 유지되며 EQT는 원래 대비 개선된다(프로젝션 시 약 0.283에서).
• 임베딩 전용 지표(WSim, SimLex, Google Analogy)는 일반적으로 디배이싱 후 약간 감소하여 전체 언어 구조의 손실이 일부 있음을 시사하며, 댐핑된 프로젝션 변형이 HD보다 구조를 약간 더 잘 보존한다.