[논문 리뷰] A Comprehensive View of the Biases of Toxicity and Sentiment Analysis Methods Towards Utterances with African American English Expressions

Guilherme H. Resende, Luiz Felipe Nery외 3명|arXiv (Cornell University)|2024. 01. 23.

Hate Speech and Cyberbullying Detection인용 수 4

한 줄 요약

이 연구는 아프리카계 미국인 영어(AAE) 표현을 처리할 때 여섯 가지 주요 독성 및 감성 분석 모델—Vader, TextBlob, Flair, 구글의 Perspective, Detoxify—에서 발생하는 체계적 편향을 조사한다. LIWC, 품사 태깅(PoS)을 통한 언어적 제어, 의미 유사도(문장 임베딩), 네 가지 다양한 데이터셋(유튜브, 트위터, CORAAL, 버키)을 사용하여, 의미와 문법이 제어된 상태에서도 AAE 표현이 독성 또는 부정적 감성으로 더 자주 오분류됨을 입증한다. 이는 모든 모델에서 뚜렷한 편향이 존재함을 보여준다.

ABSTRACT

Language is a dynamic aspect of our culture that changes when expressed in different technologies/communities. Online social networks have enabled the diffusion and evolution of different dialects, including African American English (AAE). However, this increased usage is not without barriers. One particular barrier is how sentiment (Vader, TextBlob, and Flair) and toxicity (Google's Perspective and the open-source Detoxify) methods present biases towards utterances with AAE expressions. Consider Google's Perspective to understand bias. Here, an utterance such as ``All n*ggers deserve to die respectfully. The police murder us.'' it reaches a higher toxicity than ``African-Americans deserve to die respectfully. The police murder us.''. This score difference likely arises because the tool cannot understand the re-appropriation of the term ``n*gger''. One explanation for this bias is that AI models are trained on limited datasets, and using such a term in training data is more likely to appear in a toxic utterance. While this may be plausible, the tool will make mistakes regardless. Here, we study bias on two Web-based (YouTube and Twitter) datasets and two spoken English datasets. Our analysis shows how most models present biases towards AAE in most settings. We isolate the impact of AAE expression usage via linguistic control features from the Linguistic Inquiry and Word Count (LIWC) software, grammatical control features extracted via Part-of-Speech (PoS) tagging from Natural Language Processing (NLP) models, and the semantic of utterances by comparing sentence embeddings from recent language models. We present consistent results on how a heavy usage of AAE expressions may cause the speaker to be considered substantially more toxic, even when speaking about nearly the same subject. Our study complements similar analyses focusing on small datasets and/or one method only.

연구 동기 및 목표

• 독성 및 감성 분석 모델이 아프리카계 미국인 영어(AAE) 표현을 포함한 발언에 대해 편향을 보이는지 조사하는 것.
• 문법, 언어적 특징, 의미적 내용과 같은 혼동 요인들로부터 AAE 사용의 영향을 분리하는 것.
• 다양한 데이터셋에서 널리 사용되는 여섯 가지 모델—Vader, TextBlob, Flair, Perspective, Detoxify, Detoxify Unbiased—의 성능을 비교하는 것.
• 실제 온라인 소셜 미디어 및 구어 언어 녹취록과 같은 환경에서의 편향에 대한 실증적 증거를 제공하는 것.
• 개발자들이 적절한 도구를 선택하고 향후 모델 훈련에 더 대표적인 AAE 데이터를 통합하도록 안내하는 것.

제안 방법

• 연구는 네 가지 데이터셋을 사용한다: 유튜브 댓글, 트위터 게시물, 그리고 두 가지 구어 영어 인터뷰 자료(CORAAL 및 버키)로 언어 사용의 다양성을 확보한다.
• 발언은 의미 유사도 기반으로 쌍으로 묶이며, 한 쪽은 AAE 표현을 사용하고 다른 쪽은 표준 영어 표현을 사용한다.
• LIWC를 사용하여 언어적 제어 기능을 추출하여 어휘 및 정서적 내용의 차이를 분리한다.
• 품사 태깅(PoS)을 통해 문법적 제어를 실현하여 쌍으로 묶인 발언 간 문법적 유사성을 확보한다.
• 의미 유사도는 최신 언어 모델의 문장 임베딩을 사용하여 의미를 제어한다.
• 통계 분석은 쌍으로 묶인 발언 간 모델 점수를 비교하며, AAE 사용이 독성 또는 부정적 감성 점수를 높이는지에 중점을 둔다.

실험 결과

연구 질문

• RQ1 의미와 문법이 제어된 상태에서도 독성 및 감성 분석 모델이 아프리카계 미국인 영어(AAE) 표현을 포함한 발언에 대해 체계적으로 더 높은 독성 또는 부정적 감성 점수를 부여하는가?
• RQ2 어떤 모델 유형—어휘 기반(규칙 기반) 대비 기계학습(ML) 기반 모델—이 AAE 표현에 대해 더 큰 편향을 보이는가?
• RQ3 온라인 소셜 미디어 및 구어 언어 녹취록을 포함한 다양한 데이터 소스에서 편향이 일관되게 나타나는가?
• RQ4 언어적, 문법적, 의미적 제어가 모델 출력에서 관찰된 편향을 어느 정도 줄이거나 제거하는가?
• RQ5 평가된 여섯 가지 모델(Vader, TextBlob, Flair, Perspective, Detoxify, Detoxify Unbiased) 간 편향 수준에 측정 가능한 차이가 있는가?

주요 결과

• 유튜브에서는 의미가 유사한 쌍 중 48%가 AAE 표현을 포함한 쪽에서 더 높은 독성 점수를 기록했고, 비-AAE 표현 쪽은 37%였으며, 통계적으로 유의미한 편향(p < 0.01)이 확인되었다.
• CORAAL/버키에서는 유사성 쌍 중 77%가 AAE 표현 쪽에서 더 높은 독성 점수를 기록하여, 어조 언어 환경에서 더 강한 편향이 있음을 시사한다.
• 어휘 기반 모델(Vader, TextBlob)은 기계학습 기반 모델(예: Flair, Perspective, Detoxify)보다 편향이 적었으며, 이는 규칙 기반 시스템이 AAE 표현 편향에 더 강건함을 시사한다.
• 문법(PoS), 언어적 특징(LIWC), 의미(문장 임베딩) 제어를 모두 실시한 후에도 대부분의 모델에서 AAE 표현이 여전히 유의미하게 더 높은 독성 점수를 유도했다.
• 유튜브에서는 585,679개, CORAAL/버키에서는 592,606개의 고의미 유사성 쌍을 식별했으며, 모든 데이터셋과 모델에서 일관된 편향 패턴을 보였다.
• 결과는 편향이 무작위적일 수 없음을 뜻하며, 이는 이분법적 검정(p < 0.01)으로 확인되었고, 훈련 데이터의 제한성과 맥락 이해 부족이 근본 원인일 가능성이 높다.