[논문 리뷰] Harms of Gender Exclusivity and Challenges in Non-Binary Representation in Language Technologies

Sunipa Dev, Masoud Monajatipoor외 4명|arXiv (Cornell University)|2021. 08. 27.

Natural Language Processing Techniques참고 문헌 38인용 수 4

한 줄 요약

이 논문은 NLP 시스템에서 편향된 표현으로 인해 이元성 정체성을 무시당함으로써 성별 배제적 언어 모델이 어떻게 해로움을 초래하는지 조사한다. 비이원성 정체성을 가진 개인들의 설문 조사와 GloVe 및 BERT 임베딩 분석을 통해, 데이터셋과 모델에서의 이원성 성별 가정이 잘못된 성별 지정과 부족한 표현을 초래함을 입증한다. BERT는 단수 'they'에 대해 분리된 표현을 보이지만, 여전히 성별 지정 작업에서 편향을 확산시킨다.

ABSTRACT

Gender is widely discussed in the context of language tasks and when examining the stereotypes propagated by language models. However, current discussions primarily treat gender as binary, which can perpetuate harms such as the cyclical erasure of non-binary gender identities. These harms are driven by model and dataset biases, which are consequences of the non-recognition and lack of understanding of non-binary genders in society. In this paper, we explain the complexity of gender and language around it, and survey non-binary persons to understand harms associated with the treatment of gender as binary in English language technologies. We also detail how current language representations (e.g., GloVe, BERT) capture and perpetuate these harms and related challenges that need to be acknowledged and addressed for representations to equitably encode gender information.

연구 동기 및 목표

• 언어 기술에서 성별을 이원적으로 취급함으로써 발생하는 해로움, 특히 비이원성 개인에게 미치는 영향을 조사하는 것.
• 모델 및 데이터셋의 편향이 NLP 시스템에서 비이원성 사람들의 정체성 무시와 잘못된 성별 지정을 어떻게 지속시켜 왔는지 이해하는 것.
• 정적(GloVe)과 문맥 기반(BERT) 임베딩이 비이원성 성별 표현 문제를 어떻게 인코딩하고 확산시키는지 분석하는 것.
• 언어 모델이 맥락 속에서 단수 'they'와 복수 'they'를 얼마나 정확히 구분할 수 있는지, 그리고 이러한 구분이 잘못된 성별 지정 결과에 영향을 주는지 평가하는 것.

제안 방법

• AI에 익숙한 비이원성 개인들을 대상으로 성별 표현과 관련된 NLP 작업에서 경험하는 인식된 해로움을 파악하기 위해 설문 조사를 실시하였다.
• BERT 평가를 위해 단수 'they', 'he', 'she', 복수 'they'를 사용한 문장의 균형 잡힌 수동으로 애너테이션된 데이터셋을 수집하고 분석하였다.
• 성별 지정 대명사와 관련 단어 간의 의미 유사도와 편향을 측정하기 위해 코사인 유사도와 WEAT 점수를 사용하였다.
• 단수 'they' 표현이 복수 'they' 및 이원성 대명사와 어떻게 구분되는지 평가하기 위해 BERT를 마스크된 대명사 예측 작업에 적용하였다.
• 마스크된 대명사가 포함된 표준화된 문장 템플릿을 사용하여 잘못된 성별 지정을 평가하였으며, 다양한 성별 대명사에 대해 모델 예측을 측정하였다.
• 비이원성 관련 용어의 표현 품질 격차를 탐지하기 위해 GloVe와 BERT의 임베딩 공간을 분석하였다.

실험 결과

연구 질문

• RQ1 현재의 언어 모델들인 BERT와 GloVe가 'they'와 'xe'와 같은 비이원성 대명사 표현을 얼마나 잘못하거나 표현하지 못하는가?
• RQ2 학습 데이터 및 모델 아키텍처의 편향이 NLP 시스템에서 비이원성 정체성의 순환적 무시를 어떻게 초래하는가?
• RQ3 BERT는 맥락 속에서 단수와 복수 'they'를 구분할 수 있는가? 그리고 이러한 구분이 잘못된 성별 지정 결과에 영향을 주는가?
• RQ4 비이원성 정체성 무시를 유도하는 하류 NLP 작업에서 기여하는 특정 표현 격차는 무엇인가?
• RQ5 비이원성 개인들은 실제 응용에서 이원성 성별 언어 기술이 초래하는 해로움을 어떻게 인식하는가?

주요 결과

• BERT 모델은 표현상 단수 'they'와 복수 'they' 간의 유사도가 상당히 낮아 일부 구분 능력은 보이나, 하류 작업에서 여전히 편향을 보인다.
• 이원성 대명사 대비 비이원성 대명사 간의 WEAT 점수는 0.2로 측정 가능한 편향이지만 약한 편이며, 이원성 단어 대비 비이원성 대체어 간의 점수는 0.718로 강한 의미적 분리가 있음을 보여준다.
• 단수 'they'와 'he' 사이의 코사인 유사도는 0.395, 'she'와는 0.390이며, 'them'과는 0.389로 유사하여 비이원성 대명사가 복수 대명사와 의미적으로 명확히 구분되지 않는다는 것을 시사한다.
• 비이원성 대명사인 'xe', 'xem', 'zir'는 이원성 대명사와의 유사도가 음수 또는 근처 0에 가까워 기존 임베딩 공간에 잘 통합되지 못하고 있음을 나타낸다.
• BERT 분류기는 단수 'they'와 복수 'they'를 구분하는 데 83.3%의 정확도를 달성했지만, 혼동 행렬을 분석한 결과 맥락이 모호할 경우에도 지속적인 오분류가 발생한다.
• 설문 조사 결과, 비이원성 개인들은 NLP 시스템에서 자주 잘못된 성별 지정과 무시를 경험하며, 많은 이들이 현재 모델이 자신의 성별 정체성을 인식하거나 존중하지 못한다고 보고하였다.