[논문 리뷰] What are the biases in my word embedding?

Nathaniel Swinger, Maria De‐Arteaga외 3명|arXiv (Cornell University)|2018. 12. 20.

Hate Speech and Cyberbullying Detection참고 문헌 22인용 수 17

한 줄 요약

이 논문은 이름과 일반 단어 간의 기하학적 패턴—병행성 및 군집 성질—을 식별하여 단어 임베딩 내의 편향을 자동으로 탐지하고 수량화하는 비지도 학습 알고리즘을 제안한다. 이는 인종, 성별, 종교, 연령과 관련된 광범위한 모욕적 연관성을 드러내며, 이는 사실상 탈편향된 임베딩이라도 여전히 존재함을 보여주며, 이름을 제거한다고 해서 대체 편향이 제거되지 않음을 입증한다.

ABSTRACT

This paper presents an algorithm for enumerating biases in word embeddings. The algorithm exposes a large number of offensive associations related to sensitive features such as race and gender on publicly available embeddings, including a supposedly "debiased" embedding. These biases are concerning in light of the widespread use of word embeddings. The associations are identified by geometric patterns in word embeddings that run parallel between people's names and common lower-case tokens. The algorithm is highly unsupervised: it does not even require the sensitive features to be pre-specified. This is desirable because: (a) many forms of discrimination--such as racial discrimination--are linked to social constructs that may vary depending on the context, rather than to categories with fixed definitions; and (b) it makes it easier to identify biases against intersectional groups, which depend on combinations of sensitive features. The inputs to our algorithm are a list of target tokens, e.g. names, and a word embedding. It outputs a number of Word Embedding Association Tests (WEATs) that capture various biases present in the data. We illustrate the utility of our approach on publicly available word embeddings and lists of names, and evaluate its output using crowdsourcing. We also show how removing names may not remove potential proxy bias.

연구 동기 및 목표

• 사전에 레이블링된 민감한 속성 정보가 필요 없이 단어 임베딩 내 편향을 탐지하기 위한 비지도 방법 개발
• 특히 소수자 집단에 대한 해로운 스테레오타입 연관성—특히 탈편향된 것으로 주장되는 임베딩에서도 지속되는 것—노출
• 학습 데이터에서 이름을 제거한다고 해서 대체 편향이 제거되지 않음을 입증하며, 의미적 연관성이 여전히 차별을 암시할 수 있음을 보여줌
• 연구자 및 엔지니어가 배포 전에 임베딩의 공정성을 감시하기 위해 사용할 수 있는 확장 가능한 자동화 도구 제공

제안 방법

• 병행성 특성 활용: 이름 쌍(예: Mary–John) 간의 벡터 차이가 속성어 쌍(예: Queen–King) 간의 차이와 거의 평행함을 통해 편향을 식별
• 군집 성질 도입: 성별, 종교, 기타 사회적 구성요소별로 의미적으로 유의미한 군집을 형성하는 이름 및 단어의 정규화된 단어 벡터
• 이러한 기하학적 패턴을 활용해 사전에 민감한 기능을 지정하지 않고도 통계적으로 유의미한 단어 임베딩 연관성 테스트(WEAT) 생성
• 검출된 연관성의 통계적 신뢰도를 확보하기 위해 가짜 발견률 경계 적용
• 검출된 편향이 인간이 인식하는 스테레오타입과 일치하는지 확인하기 위해 커뮤니티 기반 평가 수행
• 의도적인 간접 편향 분석을 위해 유의미한 연관성의 4중 조합 비교를 통한 프록시 관계 탐지

실험 결과

연구 질문

• RQ1 민감한 속성 정보를 사전에 지정하지 않고도 단어 임베딩 내 광범위한 편향을 자동으로 탐지할 수 있는가?
• RQ2 일반적으로 사용되는 단어 임베딩, 특히 탈편향된 임베딩이라도 여전히 모욕적이거나 스테레오타입적인 연관성을 포함하는가?
• RQ3 제안된 방법이 인간이 인식하는 사회적 스테레오타입과 일치하는 편향을 얼마나 효과적으로 식별하는가?
• RQ4 학습 데이터에서 이름을 제거한 후에도 프록시 편향이 지속되는가? 그리고 임베딩 내 기하학적 패턴을 통해 이를 탐지할 수 있는가?
• RQ5 이 알고리즘이 사전에 정의되지 않은 교차적 또는 소수자 집단에 대한 편향을 드러낼 수 있는가?

주요 결과

• 알고리즘은 공개된 단어 임베딩—비록 탈편향된 것으로 간주되는 임베딩까지 포함해도—인종, 성별, 종교, 연령과 관련된 수많은 모욕적 연관성을 탐지함
• Word2Vec 임베딩의 99%, fastText의 98%, GloVe의 97%에서 유의미한 4중 조합이 잠재적 간접 편향을 시사함으로써 이름 제거 후에도 프록시 연관성이 지속됨을 보여줌
• 커뮤니티 기반 평가에서 'n*****', 'jihad', 's******', 'hottie'와 같은 가장 모욕적인 연관성은 특정 이름 군집과 연결되었을 때 평균 평가 점수 ≥6.0로 매우 높게 평가됨
• 알고리즘이 성별, 종교, 민족에 해당하는 군집을 성공적으로 식별함. 특히 성씨를 사용할 경우 아시아계 미국인 성씨 군집이 명확히 드러남
• Bolukbasi 등(2016)이 제안한 탈편향 임베딩에서도 알고리즘이 강력하고 통계적으로 유의미한 편향을 발견함으로써, 편향 제거 방법이 완전히 편향을 제거하지 못할 수 있음을 시사함
• 12개 클래스 분류 작업에서 50% 이상의 정확도를 달성함으로써, 알고리즘이 식별하는 이름-군집 연관성이 인간 평가자에게도 해석 가능하고 의미 있는 것으로 확인됨