[논문 리뷰] Learning Gender-Neutral Word Embeddings

Jieyu Zhao, Yichao Zhou외 3명|arXiv (Cornell University)|2018. 08. 29.

Natural Language Processing Techniques참고 문헌 33인용 수 33

한 줄 요약

이 논문은 특정 벡터 차원에 성별 정보를 고립시키면서 의미적 의미를 유지하는 방식으로 성중립적 단어 임베딩을 훈련하는 데에 새로운 방법인 GN-GloVe를 제안한다. 훈련 중에 성중립적 단어와 임베딩을 함께 학습함으로써 외부 분류기에서 기인하는 오류 전파를 제거하고, 단어 유사도 성능을 훼손하지 않으면서도 후행 NLP 작업에서의 성별 편향을 감소시킨다.

ABSTRACT

Word embedding models have become a fundamental component in a wide range of Natural Language Processing (NLP) applications. However, embeddings trained on human-generated corpora have been demonstrated to inherit strong gender stereotypes that reflect social constructs. To address this concern, in this paper, we propose a novel training procedure for learning gender-neutral word embeddings. Our approach aims to preserve gender information in certain dimensions of word vectors while compelling other dimensions to be free of gender influence. Based on the proposed method, we generate a Gender-Neutral variant of GloVe (GN-GloVe). Quantitative and qualitative experiments demonstrate that GN-GloVe successfully isolates gender information without sacrificing the functionality of the embedding model.

연구 동기 및 목표

• 인간이 생성한 코퍼스에서 유도된 사회적 스테레오타입을 반영하는 사전 훈련된 단어 임베딩의 성별 편향을 해결하기 위해.
• 후처리 단계에서 성중립적 단어 식별에 사용되는 외부 분류기에서 기인하는 오류 전파를 제거하기 위해.
• 보호된 차원 외의 차원에서 성별 영향을 중립화하면서도 단어 임베딩의 의미적 功能을 유지하기 위해.
• 성 외의 다른 보호된 속성에도 일반화 가능한 방법을 개발하기 위해.

제안 방법

• 외부 분류기에 의존하지 않도록, 단어 임베딩 학습과 동시에 성중립적 단어 식별을 동시에 수행하는 공동 훈련 절차를 도입한다.
• 성 관련 정보를 단어 벡터 공간의 특정 지정된 차원에 제한하여 쉽게 제거하거나 고립할 수 있도록 한다.
• 비보호된 차원에서의 성 영향을 억제하는 정규화 항을 포함하도록 GloVe 목적 함수를 수정한다.
• 성 하위공간을 정의하기 위해 '어머니', '웨이트리스' 등의 성 정의 단어 세트를 시드 단어로 사용한다.
• 비성 차원에 L1 및 L2 정규화를 적용하여 중립성을 강화하고, GN-GloVe-L1 및 GN-GloVe-L2 변종을 도입한다.
• 모델을 엔드 투 엔드로 훈련하여 성중립적 단어를 최적화 과정 중에 암묵적으로 식별하도록 하며, 후처리를 하지 않는다.

실험 결과

연구 질문

• RQ1 비보호된 차원에서 성별 편향을 제거하면서도 의미적 의미를 유지하는 단어 임베딩을 훈련할 수 있는가?
• RQ2 특정 벡터 차원에 성별 정보를 고립시키면 후행 NLP 작업에서의 해석 가능성과 편향 감소에 기여하는가?
• RQ3 성중립적 단어 식별과 임베딩 훈련을 공동으로 학습함으로써 외부 분류기에서 기인하는 오류 전파를 제거할 수 있는가?
• RQ4 GN-GloVe는 단어 유사도 및 연상 성능 유지를 위해 베이스라인 및 후처리 모델과 비교해 어떻게 성능을 내는가?
• RQ5 GN-GloVe는 핵심 참조 해결 시스템에서 성별 편향을 어느 정도 감소시키는가?

주요 결과

• GN-GloVe는 OntoNotes 5.0 핵심 참조 해결 벤치마크에서 F1 스코어 66.2로 GloVe 및 Hard-GloVe와 유사한 성능을 달성했다.
• WinoBias 데이터셋에서 GN-GloVe는 스테레오타입 찬성 및 반대 서브셋 간 F1 스코어 차이를 20.5로 줄였으며, 이는 GloVe의 30.2보다 유의미하게 낮다.
• GN-GloVe(𝑤(𝑎))—비성 차원만 사용한 경우—편향 차이가 16.1로 감소하여 핵심 참조 해결에서의 성별 편향을 더욱 줄였다.
• 단어 유사도 작업에서는 높은 성능을 유지하였으며, 다양한 데이터셋에서 스피어만 상관계수 스코어가 72.2에서 76.4 사이를 기록했다.
• 성관계 연상 작업에서는 GN-GloVe가 68.9–68.8%의 정확도를 달성했으며, GloVe의 70.8%보다 약간 낮아 의미적 유사도 손실이 최소한이었다.
• 이 방법은 지정된 차원에 성별 정보를 성공적으로 고립시켜 쉽게 제거할 수 있으며, 모델의 기능적 유용성을 유지한다.