[논문 리뷰] Examining Gender and Race Bias in Two Hundred Sentiment Analysis Systems

Svetlana Kiritchenko, Saif M. Mohammad|arXiv (Cornell University)|2018. 05. 11.

Hate Speech and Cyberbullying Detection참고 문헌 26인용 수 31

한 줄 요약

이 논문은 감성 분석 시스템에서 성별 및 인종 편향을 탐지하기 위해 설계된 8,640개의 영어 문장으로 구성된 표준 평가 데이터셋인 공정성 평가 코퍼스(Equity Evaluation Corpus, EEC)를 소개한다. EEC를 사용하여 SemEval-2018 Task 1의 219개 시스템을 평가한 결과, 75% 이상이 통계적으로 유의미한 편향을 보였으며, 이는 특정 성별 또는 인종을 언급하는 문장에 대해 일관되게 높은 감성 강도를 부여함으로써, 편향의 크기가 최대 34%에 이르렀다.

ABSTRACT

Automatic machine learning systems can inadvertently accentuate and perpetuate inappropriate human biases. Past work on examining inappropriate biases has largely focused on just individual systems. Further, there is no benchmark dataset for examining inappropriate biases in systems. Here for the first time, we present the Equity Evaluation Corpus (EEC), which consists of 8,640 English sentences carefully chosen to tease out biases towards certain races and genders. We use the dataset to examine 219 automatic sentiment analysis systems that took part in a recent shared task, SemEval-2018 Task 1 'Affect in Tweets'. We find that several of the systems show statistically significant bias; that is, they consistently provide slightly higher sentiment intensity predictions for one race or one gender. We make the EEC freely available.

연구 동기 및 목표

• 자동 감성 분석 시스템에서 성별 및 인종 편향을 식별하고 측정하는 것.
• NLP 시스템의 공정성 평가를 위한 표준화된 평가 데이터셋을 개발하는 것.
• 문장에 언급된 개인의 성별 또는 인종에 따라 감성 강도 예측이 체계적으로 달라지는지 분석하는 것.
• 감정 차원(예: 분노, 두려움, 밸런스)이 이러한 편향에 얼마나 영향을 받는지 평가하는 것.
• 개발자와 연구자가 감성 분석 시스템의 공정성을 감시하고 향상시키기 위해 사용할 수 있는 공개 자원을 제공하는 것.

제안 방법

• 공정성 평가 코퍼스(EEC)는 성별 또는 인종을 나타내는 단일 단어만 다를 뿐 나머지가 동일한 문장 8,640개를 정교하게 짝지어 구성하여 통제된 비교를 가능하게 하였다.
• EEC는 SemEval-2018 Task 1의 보조 테스트 세트로 사용되었으며, 트윗의 감성 및 감정 강도를 평가하는 데에 활용되었다.
• 시스템은 성별 또는 인종이 다를 뿐 나머지가 동일한 문장 쌍에 대해 예측한 감성 강도 점수를 비교하여 평가되었다.
• 통계적 유의성 검정을 통해 여러 문장 쌍에서 한 성별 또는 인종 쪽에 유리하게 일관된 점수 차이가 있는지 탐지하였다.
• 훈련 데이터에서 기인하는 편향을 분리하기 위해 유니그램만을 사용해 훈련한 기준선 SVM 시스템을 평가하였다.
• 분석은 분노, 두려움, 슬픔, 밸런스 강도 등 다양한 감정 강도 차원에서의 편향을 비교하였다.

실험 결과

연구 질문

• RQ1 문장 간 유일한 차이가 언급된 사람의 성별일 경우, 감성 분석 시스템이 감성 강도 예측에서 통계적으로 유의미한 편향을 보이는가?
• RQ2 문장 간 유일한 차이가 인종일 경우, 특히 유럽계 미국인과 아프리카계 미국인 이름 간에 시스템이 유사한 편향을 보이는가?
• RQ3 분노, 두려움, 슬픔, 밸런스 등의 감정 강도 차원에서 편향의 크기와 방향은 어떻게 달라지는가?
• RQ4 사전 훈련된 워드 임베딩이나 외부 어휘집을 사용하지 않는 시스템에서는 어느 정도의 편향이 존재하는가? 이는 데이터 수준의 편향을 시사하는가?
• RQ5 동일한 시스템이 예측하는 특정 감정 차원에 따라 다른 편향 패tern을 보일 수 있는가?

주요 결과

• 평가된 219개의 감성 분석 시스템 중 75% 이상이 성별 또는 인종에 따라 감성 강도 예측에서 통계적으로 유의미한 편향을 보였다.
• 편향의 평균 크기는 0에서 1의 점수 범위 기준 0.03 이하(3%)였지만, 일부 시스템은 최대 0.34(34%)에 이르는 편향을 보였다.
• 인종 기반 편향이 성별 기반 편향보다 더 퍼져 있었으며, 시스템은 일관되게 유럽계 미국인 이름을 포함한 문장에 더 높은 감성 강도를 할당했다.
• 단순한 기준선 SVM 시스템(유니그램만으로 훈련)도 작은 편향을 보였으며, 이는 편향이 훈련 데이터에서 기인한다는 것을 시사한다.
• 편향의 방향은 감정 차원에 따라 달라졌다. 예를 들어, 남성 언급 문장은 분노와 두려움 점수에서 더 높게 평가되었고, 일부 경우 여성 언급 문장은 밸런스 강도에서 더 높은 점수를 받았다.
• EEC에서 유의미한 편향을 보이지 않는 시스템들은 주로 SemEval-2018 테스트 세트에서 성능이 떨어졌으며, 이는 공정성과 정확성 사이에 상충 관계가 있을 수 있음을 시사한다.