[논문 리뷰] Racial Disparity in Natural Language Processing: A Case Study of Social Media African-American English

Su Lin Blodgett, Brendan O’Connor|arXiv (Cornell University)|2017. 06. 30.

Hate Speech and Cyberbullying Detection인용 수 60

한 줄 요약

본 연구는 트위터의 아프리카계 미국인 영어 트윗에 대한 언어 식별의 인종 차이를 실증적으로 분석하고, 여러 상용 도구와 메시지 길이에 걸쳐 지속적인 정확도 격차를 보임을 보여준다.

ABSTRACT

We highlight an important frontier in algorithmic fairness: disparity in the quality of natural language processing algorithms when applied to language from authors of different social groups. For example, current systems sometimes analyze the language of females and minorities more poorly than they do of whites and males. We conduct an empirical analysis of racial disparity in language identification for tweets written in African-American English, and discuss implications of disparity in NLP.

연구 동기 및 목표

• 방언과 인종이 언어 처리 성능에 미치는 영향을 살펴봄으로써 NLP의 공정성을 촉진한다.
• 아프리카계 미국인 영어(AAE)와 백인 정렬된 트윗 텍스트 간의 언어 식별 정확도 차이를 정량화한다.
• 메시지 길이를 통제하고 다수의 상용 및 오픈 도구에 대해 격차가 지속되는지 평가한다.
• 하류 NLP 작업에 대한 시사점과 잠재적 공정성 향상 방법을 논의한다.

제안 방법

• 혼합 멤버십 인구통계 라벨링이 포함된 대형 AA-ETwitter 코퍼스를 사용해 AA-정렬 메시지와 White-정렬 메시지를 식별한다.
• 길이로 구간화된 20,000개의 트윗에 대해 네 가지 언어 식별자(langid.py, IBM Watson, Microsoft Azure, Twitter 메타데이터)를 평가한다.
• 각 길이 구간 내에서 AA-정렬과 White-정렬 메시지 간의 정확도 차이를 계산한다.
• 편차의 강건성을 테스트하기 위해 분석을 200에서 20,000개의 트윗으로 확대한다.

실험 결과

연구 질문

• RQ1 언어 식별 도구가 AA-정렬 트윗과 White-정렬 트윗에서 서로 다른 정확도를 보이나?
• RQ2 메시지 길이가 교차 방언 언어 식별 정확도와 차이에 어떤 영향을 미치는가?
• RQ3 오픈 소스와 상용 언어 식별자 간에 차이가 일관적인가?
• RQ4 이러한 차이가 하류 NLP 작업과 공정성에 어떤 시사점을 갖는가?

주요 결과

• 모든 분류기가 긴 메시지에서 더 높은 정확도를 보이며, 짧은 메시지(<10 토큰)가 가장 큰 격차를 보인다.
• 오픈 소스 langid.py는 특히 짧은 메시지에서 눈에 띄는 격차를 보인다(최대 19.7포인트).
• IBM Watson은 가장 짧은 길이 구간에서 가장 큰 격차를 보이며(15.1포인트).
• Microsoft Azure는 일반적으로 더 작은 격차를 보이며, 긴 메시지 구간에서 가장 낮은 차이(0.3–6.6포인트)를 나타낸다.
• Twitter 자체 식별자는 가장 짧은 구간에서 가장 큰 격차(19.7포인트)를 보이고, 가장 긴 구간에서는 음의 격차(-3.0포인트)를 보인다.
• 전반적으로 200에서 20,000개의 트윗으로 확장하고 다양한 도구에서도 격차가 지속된다.