[논문 리뷰] Man is to Person as Woman is to Location: Measuring Gender Bias in Named Entity Recognition

Ninareh Mehrabi, Thamme Gowda외 3명|arXiv (Cornell University)|2019. 10. 24.

Topic Modeling참고 문헌 25인용 수 15

한 줄 요약

이 논문은 named entity recognition (NER) 시스템에서 성별 편향을 측정하기 위해 벤치마크를 제안한다. 여성 이름이 남성 이름보다 비슷한 비율로 비-PERSON 엔티티(예: 위치 또는 도시)로 잘못 분류되는 정도를 평가한다. 1880~2018년까지의 미국 인구 조사 출생명 데이터 139년 분량을 활용해 9개의 문장 템플릿에서 분석한 결과, 최신 NER 모델들이 여성 이름을 체계적으로 과소 인식함을 확인했으며, 특히 가중치를 적용한 빈도 기반 측정법에서는 여성 이름의 오류율이 남성 이름보다 최대 2.5배 높았다. 이는 NLP 시스템에서 심각한 공정성 격차가 존재함을 시사한다.

ABSTRACT

We study the bias in several state-of-the-art named entity recognition (NER) models---specifically, a difference in the ability to recognize male and female names as PERSON entity types. We evaluate NER models on a dataset containing 139 years of U.S. census baby names and find that relatively more female names, as opposed to male names, are not recognized as PERSON entities. We study the extent of this bias in several NER systems that are used prominently in industry and academia. In addition, we also report a bias in the datasets on which these models were trained. The result of this analysis yields a new benchmark for gender bias evaluation in named entity recognition systems. The data and code for the application of this benchmark will be publicly available for researchers to use.

연구 동기 및 목표

• 이름 엔티티 인식(NER) 모델이 남성 이름과 여성 이름을 PERSON 엔티티로 인식할 때 성별 편향을 보이는지 조사하기.
• 미국 인구 조사 출생명 데이터 139년 분량을 활용해 공개 가능한 벤치마크를 개발하여 NER 시스템의 성별 편향을 평가하기.
• 모델 업데이트와 훈련 데이터 분포가 NER 성능에서 성별 편향을 어떻게 유도하거나 악화시키는지 분석하기.
• 광범위하게 사용되는 NER 모델과 데이터셋에서 여성 이름의 부재 및 잘못된 분류 정도를 정량화하기.

제안 방법

• 미국 인구 조사 출생명을 9개의 문장 템플릿에 통합하여 PERSON 엔티티로 분류되어야 할 맥락을 구성한 벤치마크 데이터셋을 구축했다.
• Flair, CoreNLP 3.9, spaCy(small, medium, large) 등 5종의 최신 NER 모델을 139년 분량의 데이터(1880–2018)에 대해 벤치마크에서 평가했다.
• 무게 조정되지 않은 오류율, 이름 빈도에 따라 가중된 오류율, 맥락별 오류율의 세 가지 유형의 오류율을 계산하여 다양한 조건에서의 편향을 평가했다.
• 통계적 평등성을 공정성 지표로 사용하여 여성 이름과 남성 이름의 오류율을 비교함으로써, 잘못된 분류의 불균형을 편향으로 정의했다.
• CoNLL 2003, OntoNotes5 등의 훈련 데이터셋을 분석하여, 훈련 데이터에서 여성 이름의 부재가 모델 편향에 기여하는지 평가했다.
• CoreNLP의 버전 간 비교 분석을 통해 모델 업데이트가 기존의 성별 편향을 악화시키는지 확인했다.

실험 결과

연구 질문

• RQ1 최신 NER 모델들이 여성 이름을 비-PERSON 엔티티로 체계적으로 남성 이름보다 더 자주 잘못 분류하는가?
• RQ2 훈련 데이터에서 이름의 빈도가 NER 모델에서의 잘못된 분류율에 어느 정도 영향을 미치는가?
• RQ3 모델 업데이트(예: CoreNLP 3.8에서 3.9로의 업데이트)는 NER 시스템의 성별 편향에 어떤 영향을 미치는가?
• RQ4 광범위하게 사용되는 NER 훈련 데이터셋이 실제 세계의 남성 및 여성 이름 분포를 어느 정도 반영하고 있는가?
• RQ5 다양한 모델과 응용 분야에서 NER 시스템의 성별 편향을 평가할 수 있는 표준화된 벤치마크를 설계할 수 있는가?

주요 결과

• 이름 빈도에 따라 가중한 결과, 여성 이름이 비-PERSON 엔티티로 잘못 분류되는 비율이 남성 이름보다 최대 2.5배 높았으며, 이는 심각한 성별 편향을 시사한다.
• 모든 템플릿에서 여성 이름의 오류율이 일관되게 높았으며, 특히 'X는 사람이다'와 같은 맥락적으로 명확한 경우(템플릿 4)에도 잘못된 분류가 지속되었다.
• CoreNLP 3.8에서 3.9로의 업데이트 등 모델 업데이트로 인해 성별 편향이 악화되었으며, 이전에는 정확하게 태깅되었던 이름들(예: 'Charlotte', 'Jordan')이 위치나 도시로 잘못 분류되었다.
• CoNLL 2003 및 OntoNotes5 등의 훈련 데이터셋에서 여성 이름의 비율이 낮게 나타났으며, 테스트 세트에서 여성 이름 비율은 42–44%에 불과했지만, 미국 인구 조사 데이터에서는 여성 이름 비율이 62%에 달했다.
• 벤치마크 분석 결과, spaCy나 Flair와 같은 고성능 모델조차도 특히 가중 오류율 측정 기준에서 심각한 성별 편향을 보였으며, 이는 모델 설계 및 데이터 표현 방식의 체계적 문제를 시사한다.
• 이 연구는 NER 시스템의 성별 편향이 모델에만 국한되지 않고, 훈련 데이터 자체에 뿌리를 두고 있음을 입증하며, 편향 완화 전략은 데이터 정제와 모델 평가를 동시에 고려해야 한다는 점을 시사한다.