[논문 리뷰] Debiasing Word Embeddings with Nonlinear Geometry

Cheng Lu, Nayoung Kim외 1명|arXiv (Cornell University)|2022. 08. 29.

Hate Speech and Cyberbullying Detection인용 수 4

한 줄 요약

이 논문은 별도의 인간 레이블링된 단어 집합이 필요 없이 개인적 편향 하위공간의 교차를 활용하여, 인종과 성별과 같은 연합적 및 교차적 사회적 편향(예: 인종과 성별)을 고려한 비선형 기하 기반 방법인 JoSEC을 제안한다. 이 방법은 의미적 유용성을 유지하면서도 내재된 편향을 효과적으로 감소시킨다. 이는 벤치마크 데이터셋을 통해 검증되었다.

ABSTRACT

Debiasing word embeddings has been largely limited to individual and independent social categories. However, real-world corpora typically present multiple social categories that possibly correlate or intersect with each other. For instance, "hair weaves" is stereotypically associated with African American females, but neither African American nor females alone. Therefore, this work studies biases associated with multiple social categories: joint biases induced by the union of different categories and intersectional biases that do not overlap with the biases of the constituent categories. We first empirically observe that individual biases intersect non-trivially (i.e., over a one-dimensional subspace). Drawing from the intersectional theory in social science and the linguistic theory, we then construct an intersectional subspace to debias for multiple social categories using the nonlinear geometry of individual biases. Empirical evaluations corroborate the efficacy of our approach. Data and implementation code can be downloaded at https://github.com/GitHubLuCheng/Implementation-of-JoSEC-COLING-22.

연구 동기 및 목표

• 기존의 편향 제거 방법이 사회적 범주를 독립적으로 다루는 데에 한계가 있음을 해결하고자 하며, 특히 다수의 범주가 교차하거나 상관관계를 가질 경우에 대비하고자 한다.
• 합집합 편향(범주들의 결합으로 인한 편향)과 교차적 편향(개별 범주 편향과 겹치지 않는 편향)이라는 두 가지 복잡한 유형의 편향을 연구하고 완화하고자 한다.
• 교차적 집단을 위한 사전 정의된 단어 목록에 의존하지 않고도 다수의 범주에 대한 편향 하위공간을 구성하는 방법을 개발하고자 한다.
• 다양한 사회적 범주에서 내재된 편향을 감소시키는 동시에 단어 임베딩의 의미적 유용성을 유지하고자 한다.
• 교차성 이론과 언어학 이론에 부합하는 이론적으로 탄탄한, 기하 기반의 접근 방식을 제공하고자 한다.

제안 방법

• 이 방법은 개인적 편향 하위공간(예: 성별 및 인종에 대한 것들)이 비선형적으로 교차하며 주로 일차원 하위공간을 따라 교차한다는 경험적 관찰을 한다.
• 교차성 이론과 퍼스의 언어학 이론을 바탕으로, 교차적 편향 하위공간을 개인적 편향 하위공간의 비선형 기하 교차로 수식화한다.
• JoSEC는 비선형 다양체 학습을 사용하여 편향 방향 간의 복잡한 비선형 상관관계를 모델링함으로써, 편향을 악화시킬 수 있는 선형 조합을 피한다.
• 이 방법은 구성 요소 범주(예: 성별 또는 인종 어휘)의 정의어 집합만을 활용하며, 교차적 집단을 위한 추가적인 집합이 필요 없도록 한다.
• 학습된 교차적 하위공간에 수정된 하드-디베이징 절차를 적용하여 단어 임베딩의 편향을 중립화한다.
• 내재된 편향 측정 지표와 하류 NLP 작업을 사용하여 방법의 평가를 수행함으로써 편향 감소와 의미적 유용성 유지의 이중적 성능을 평가한다.

실험 결과

연구 질문

• RQ1 다양한 사회적 범주(예: 성별 및 인종)에 대한 개인적 편향 하위공간이 임베딩 공간에서 어떻게 교차하는가?
• RQ2 선형 조합보다 비선형 기하 접근 방식이 합집합 및 교차적 편향을 더 잘 포착할 수 있는가?
• RQ3 교차적 하위공간을 사용한 편향 제거가 NLP 작업 전반에서 단어 임베딩의 의미적 유용성을 유지하는가?
• RQ4 내재된 편향 감소와 하류 작업(예: 독성 분류)에서의 외재적 편향 완화 사이에 신뢰할 수 있는 상관관계가 존재하는가?
• RQ5 JoSEC는 교차적 정체성에 대한 인간 레이블링된 단어 목록 없이도 편향을 감소시킬 수 있는가?

주요 결과

• 다양한 사회적 범주(예: 성별 및 인종)에 대한 개인적 편향 하위공간은 비선형적으로 교차하며, 주로 일차원 하위공간을 따라 교차한다. 이는 선형 독립성의 가정을 도전한다.
• JoSEC는 교차적 집단을 위한 추가적인 인간 레이블링된 단어 집합이 없이도 합집합 및 교차적 편향에 대한 내재된 편향을 성공적으로 감소시킨다.
• JoSEC를 사용한 편향 제거 작업은 NER, POS 태깅, POS 쿠션 작업에서 통계적으로 유의미한 성능 저하 없이 의미적 유용성을 유지한다.
• 내재된 편향 감소와 독성 분류와 같은 하류 작업에서의 외재적 편향 완화 사이에 유의미한 상관관계가 없음을 확인하여, 내재된 지표가 하류 공정성 예측에 신뢰할 수 있는 지표가 아님을 시사한다.
• 경험적 결과는 JoSEC가 선형 조합보다 우수하며, 비선형 상관관계로 인해 선형 조합이 편향을 악화시킬 수 있음을 확인한다.
• 이 방법은 실용적이고 일반화 가능하며, 구성 요소 범주에 대한 표준 정의어 집합만을 기반으로 하므로 실세계 적용에 적합하다.