[논문 리뷰] Gender Bias in Text: Labeled Datasets and Lexicons

Jad Doughman, Wael Khreich|arXiv (Cornell University)|2022. 01. 21.

Gender Studies in Language인용 수 4

한 줄 요약

이 논문은 영어 텍스트 내 성별 편향을 탐지하기 위한 공개된 레이블이 부여된 데이터셋 및 어휘집을 소개한다. 보다 향상된 분류 체계를 사용하여 네 가지 편향 하위 유형을 포함한다: 일반화된 '그', 일반화된 '그녀', 성별 명시적 표기, 성별화된 신조어. 저자들은 자동화된 데이터 검색, 높은 상호 평가자 신뢰도(Krippendorff’s alpha = 0.75)를 확보한 인간의 어노테이션, 그리고 워드 임베딩 기반 어휘집 보강을 융합한 하이브리드 접근법을 활용하여, 성별 편향을 탐지하고 완화하기 위한 지도학습 및 비지도학습 NLP 모델을 위한 자원을 구축한다.

ABSTRACT

Language has a profound impact on our thoughts, perceptions, and conceptions of gender roles. Gender-inclusive language is, therefore, a key tool to promote social inclusion and contribute to achieving gender equality. Consequently, detecting and mitigating gender bias in texts is instrumental in halting its propagation and societal implications. However, there is a lack of gender bias datasets and lexicons for automating the detection of gender bias using supervised and unsupervised machine learning (ML) and natural language processing (NLP) techniques. Therefore, the main contribution of this work is to publicly provide labeled datasets and exhaustive lexicons by collecting, annotating, and augmenting relevant sentences to facilitate the detection of gender bias in English text. Towards this end, we present an updated version of our previously proposed taxonomy by re-formalizing its structure, adding a new bias type, and mapping each bias subtype to an appropriate detection methodology. The released datasets and lexicons span multiple bias subtypes including: Generic He, Generic She, Explicit Marking of Sex, and Gendered Neologisms. We leveraged the use of word embedding models to further augment the collected lexicons.

연구 동기 및 목표

• 영어 텍스트 내 성별 편향을 탐지하기 위한 대표성 있고 레이블이 부여된 데이터셋과 어휘집의 부족을 해결하기 위해.
• 기존의 성별 편향 분류 체계를 개선하기 위해 그 구조를 재형식화하고, 새로운 편향 유형(성별화된 신조어)을 추가하며, 하위 유형을 자동 탐지 방법과 연결하기 위해.
• 기계 학습 및 NLP 기반의 성별 편향 탐지에 기여할 수 있도록 다양한 대표성 있는 문장과 어휘를 수집, 어노테이션 및 보강하기 위해.
• 자동화된 성별 편향 탐지 및 완화를 가능하게 하는 공개 접근 가능한 자원을 제공하기 위해.
• Krippendorff’s alpha를 사용한 검증을 통해 성별 편향 어노테이션의 상호 평가자 신뢰도를 향상시키기 위해.

제안 방법

• 특정 편향 하위 유형을 대상으로 정보 검색 및 필터링 기법을 사용하여 편향이 의심되는 문장을 검색하였다.
• 정련된 분류 체계와 어노테이션 예시를 기반으로 아홉 명의 대학원 수준의 어노테이터가 문장을 레이블링하여 명확성과 일관성을 확보하였다.
• 상호 평가자 신뢰도를 검증하고 레이블링 기준에 대한 공통 이해를 확보하기 위해 Krippendorff’s alpha(0.75)를 계산하였다.
• 성별 배제적 부분 문자열(예: 'man')을 포함하고 최소 100개의 올리기(업보트)를 확보한 조건으로 Urban Dictionary에서 성별화된 신조어를 필터링하여 셀렉션하였다.
• 정의를 바탕으로 최종 500개의 어휘를 배제적이라고 수동으로 어노테이션하여 관련성과 편향 탐지 정확도를 확보하였다.
• 워드 임베딩 모델을 사용하여 어휘집을 보강함으로써 NLP 파이프라인 내 커버리지와 탐지 성능을 향상시켰다.

실험 결과

연구 질문

• RQ1 어떻게 성별 편향 하위 유형에 대한 종합적이고 체계적인 분류 체계를 정형화하여 NLP에서 자동 탐지에 기여할 수 있는가?
• RQ2 다양한 형태의 성별 편향을 텍스트에서 레이블링할 때 인간 어노테이션의 상호 평가자 신뢰도는 어느 정도인가?
• RQ3 새로운 것으로 만들어진, 편향이 있는 어휘인 성별화된 신조어는 어떻게 체계적으로 사용자 생성 콘텐츠에서 식별하고 추출할 수 있는가?
• RQ4 워드 임베딩 모델은 성별 편향 어휘집의 커버리지와 강건성을 어느 정도 향상시킬 수 있는가?
• RQ5 고품질의 대표성 있고 공개 가능한 데이터셋을 확보하기 위해 어떤 방법론적 파이프라인이 필수적인가?

주요 결과

• 레이블링 과정의 상호 평가자 신뢰도는 Krippendorff’s alpha 점수 0.75로 확인되어 강력한 일致성과 레이블링 가이드라인의 명확성을 보여주었다.
• 최종 데이터셋은 성별 배제적 부분 문자열과 최소 커뮤니티 올리기 기준(≥100)을 필터링한 후 Urban Dictionary에서 추출한 500개의 수동 레이블이 부여된 성별화된 신조어를 포함한다.
• 저자들은 일반화된 '그', 일반화된 '그녀', 성별 명시적 표기, 성별화된 신조어의 네 가지 성별 편향 하위 유형에 걸쳐 대표성 있는 문장을 성공적으로 수집하고 어노테이션하였다.
• 워드 임베딩 모델의 사용은 어휘집의 보강에 효과를 발휘하여 후속 NLP 작업에서의 커버리지 향상에 기여하였다.
• 본 연구는 공개 가능한 레이블이 부여된 데이터셋과 철저한 어휘집을 제작하여 영어 텍스트 내 성별 편향 탐지 분야에서 중요한 자원 격차를 메웠다.
• 향상된 분류 체계는 이제 새로운 편향 유형인 '성별화된 신조어'를 포함하며, 재구성된 하위 유형과 자동 탐지 방법론이 연결되어 있다.