[논문 리뷰] Word Embeddings via Causal Inference: Gender Bias Reducing and Semantic Information Preserving

Lei Ding, Dengdeng Yu외 8명|arXiv (Cornell University)|2021. 12. 09.

Natural Language Processing Techniques인용 수 5

한 줄 요약

이 논문은 성별 특화 단어 벡터 간의 차이(예: father − mother)를 모델링하여 어휘 임베딩에서 성별 편향을 줄이면서 의미 정보를 유지하는 원인 인과 추론 프레임워크를 제안한다. 이 방법은 편향 감소, 의미 유사도 작업, 그리고 하류 NLP 응용 분야에서 최신 기법들을 능가하며, 거의 오라클 수준의 의미 유지 성능을 달성하고 하류 작업에서의 성능 저하를 최소화한다.

ABSTRACT

With widening deployments of natural language processing (NLP) in daily life, inherited social biases from NLP models have become more severe and problematic. Previous studies have shown that word embeddings trained on human-generated corpora have strong gender biases that can produce discriminative results in downstream tasks. Previous debiasing methods focus mainly on modeling bias and only implicitly consider semantic information while completely overlooking the complex underlying causal structure among bias and semantic components. To address these issues, we propose a novel methodology that leverages a causal inference framework to effectively remove gender bias. The proposed method allows us to construct and analyze the complex causal mechanisms facilitating gender information flow while retaining oracle semantic information within word embeddings. Our comprehensive experiments show that the proposed method achieves state-of-the-art results in gender-debiasing tasks. In addition, our methods yield better performance in word similarity evaluation and various extrinsic downstream NLP tasks.

연구 동기 및 목표

• 기존의 편향 제거 방법이 편향 제거 과정에서 성별 정보와 의미 정보를 혼동하는 한계를 해결하기 위해.
• 어휘 임베딩 내부의 의미적 내용을 유지하면서도 성별 편향의 흐름을 명시적으로 모델링하는 인과 프레임워크를 개발하기 위해.
• POS 태깅, 추출 구문 분석, 명명된 실체 인식과 같은 하류 NLP 작업에서 성능 저하 없이 효과적인 편향 제거를 가능하게 하기 위해.
• 성별 외에도 인종이나 계급 기반 편향과 같은 다른 형태의 편향에 적용 가능한 일반화 가능한 방법을 제공하기 위해.

제안 방법

• 성별 편향을 성별 특화 단어 쌍에 의해 영향을 받는 교란 요인으로 간주하는 인과 모델을 구성한다.
• 예를 들어 father − mother와 같은 성별 단어 쌍 간의 벡터 차이를 성별 편향의 대리 변수로 사용하여 의미적 구조를 유지하면서도 타겟된 편향 제거를 가능하게 한다.
• 편향 제거 과정에서 손실된 정보를 복원하기 위해 잔차 블록을 도입하여 의미 유지 성능을 확보한다.
• 이 프레임워크는 두 단계 과정을 사용한다: 첫째, 인과적 구조를 이용해 성별 편향을 식별하고 분리한다; 둘째, 임베딩을 편향 제거된 부분공간에 투영한다.
• 편향 변수가 관측되지 않을 경우, 성별 편향과 관련된 변수(예: 성별 편향과 상관관계가 있는 형용사 및 명사)를 활용하여 편향 제거 성능을 향상시킨다.
• 내재 평가(의미 유사도)와 외재 평가(하류 NLP 작업)를 통해 방법의 유효성을 검증한다.

실험 결과

연구 질문

• RQ1 인과 추론 프레임워크는 의미 정보를 손상시키지 않고 어휘 임베딩에서 성별 편향을 효과적으로 분리하고 제거할 수 있는가?
• RQ2 성별 단어 쌍 간의 차이를 모델링하는 것이 기존의 표준 후처리 편향 제거 방법에 비해 의미 유지에 어떻게 기여하는가?
• RQ3 편향 제거 후 하류 NLP 작업에서 성능 유지 수준은 어느 정도인가?
• RQ4 편향 감소 및 의미 유사도 측면에서 이 방법은 최신 기법들과 비교해 어떻게 성능을 냈는가?
• RQ5 이 프레임워크는 성별 외의 다른 사회적 편향 유형으로도 확장 가능한가?

주요 결과

• 제안된 방법은 DeSIP 및 HSR와 같은 기존 후처리 방법들을 능가하는 최신 기술 수준의 성별 편향 제거 성능을 달성한다.
• 의미 유사도 평가에서, 이 방법은 'Wedding' 작업에서 11.22 (±0.20)의 의미 정보를 유지하여 오라클 성능인 11.22에 근접한다.
• SimLex 및 SimVerb 유사도 벤치마크에서 각각 0.3765 및 0.2286의 F1 스코어를 기록하며, P-DeSIP 및 U-DeSIP를 포함한 모든 기준 모델들을 능가한다.
• 하류 NLP 작업에서는 성능 저하가 최소화되어 원본의 편향이 있는 GloVe 모델과 가장 유사한 F1 스코어를 기록했으며, NER 작업에서는 정밀도에서 약간의 향상이 있었다.
• POS 태깅, 추출 구문 분석, NER 작업 전반에서 일관된 성능 유지를 기록하여 실제 응용 분야에서의 강건성과 유용성을 입증한다.
• 어휘 및 의미 정보를 효과적으로 유지하면서도 성별 편향을 감소시켰으며, 이는 이전 연구 대비 단어 유추 및 유사도 작업에서 더 높은 성능을 기록함으로써 입증되었다.