[论文解读] A Comprehensive View of the Biases of Toxicity and Sentiment Analysis Methods Towards Utterances with African American English Expressions

Guilherme H. Resende, Luiz Felipe Nery+3 more|arXiv (Cornell University)|Jan 23, 2024

Hate Speech and Cyberbullying Detection被引用 4

一句话总结

本研究调查了六种主流毒性检测与情感分析模型（Vader、TextBlob、Flair、Google的Perspective、Detoxify）在处理非裔美国人英语（AAE）表达时的系统性偏差。通过语言控制（LIWC、词性标注）、语义相似性（句子嵌入）以及四个不同的数据集（YouTube、Twitter、CORAAL、Buckeye），作者证明即使在语义和语法受控的情况下，AAE表达仍被系统性地误判为更具毒性或负面情绪，揭示了所有模型中普遍存在的偏差。

ABSTRACT

Language is a dynamic aspect of our culture that changes when expressed in different technologies/communities. Online social networks have enabled the diffusion and evolution of different dialects, including African American English (AAE). However, this increased usage is not without barriers. One particular barrier is how sentiment (Vader, TextBlob, and Flair) and toxicity (Google's Perspective and the open-source Detoxify) methods present biases towards utterances with AAE expressions. Consider Google's Perspective to understand bias. Here, an utterance such as ``All n*ggers deserve to die respectfully. The police murder us.'' it reaches a higher toxicity than ``African-Americans deserve to die respectfully. The police murder us.''. This score difference likely arises because the tool cannot understand the re-appropriation of the term ``n*gger''. One explanation for this bias is that AI models are trained on limited datasets, and using such a term in training data is more likely to appear in a toxic utterance. While this may be plausible, the tool will make mistakes regardless. Here, we study bias on two Web-based (YouTube and Twitter) datasets and two spoken English datasets. Our analysis shows how most models present biases towards AAE in most settings. We isolate the impact of AAE expression usage via linguistic control features from the Linguistic Inquiry and Word Count (LIWC) software, grammatical control features extracted via Part-of-Speech (PoS) tagging from Natural Language Processing (NLP) models, and the semantic of utterances by comparing sentence embeddings from recent language models. We present consistent results on how a heavy usage of AAE expressions may cause the speaker to be considered substantially more toxic, even when speaking about nearly the same subject. Our study complements similar analyses focusing on small datasets and/or one method only.

研究动机与目标

• 调查毒性与情感分析模型是否对包含非裔美国人英语（AAE）表达的语句表现出偏差。
• 将AAE使用的影响与语法、语言特征和语义内容等混杂因素分离开来。
• 在多样化的数据集中比较六种广泛使用的模型（Vader、TextBlob、Flair、Perspective、Detoxify、Detoxify Unbiased）的性能。
• 在真实场景中提供偏差的实证证据，包括在线社交媒体和口语语言转录本。
• 为开发者选择合适工具提供建议，并为未来模型训练提供更具代表性的AAE数据支持。

提出的方法

• 本研究使用四个数据集：YouTube评论、Twitter帖子，以及两个口语英语访谈集（CORAAL和Buckeye），以确保语言使用的多样性。
• 语句通过语义相似性进行配对，其中一种版本使用AAE表达，另一种使用标准英语的对应表达。
• 使用LIWC提取语言控制特征，以隔离词汇和情感内容的差异。
• 通过词性（PoS）标注实现语法控制，确保配对语句之间的句法相似性。
• 使用先进语言模型的句子嵌入测量语义相似性，以控制语义内容。
• 统计分析比较配对语句间模型得分的差异，重点关注AAE使用是否导致更高的毒性或负面情绪得分。

实验结果

研究问题

• RQ1 当语义和语法受控时，毒性与情感分析模型是否会系统性地为包含非裔美国人英语（AAE）表达的语句分配更高的毒性或负面情绪得分？
• RQ2 不同类型的模型——基于词汇的（规则驱动）与机器学习（ML）模型——在AAE表达偏差方面的表现如何？
• RQ3 该偏差是否在多样化的数据源中保持一致，包括在线社交媒体和口语语言转录本？
• RQ4 语言、语法和语义控制在多大程度上能减少或消除模型输出中的偏差？
• RQ5 在评估的六种模型（Vader、TextBlob、Flair、Perspective、Detoxify、Detoxify Unbiased）中，偏差水平是否存在可测量的差异？

主要发现

• 在YouTube上，48%的得分差异配对中，AAE版本的毒性得分更高，而非AAE版本为37%，偏差具有统计学显著性（p < 0.01）。
• 在CORAAL/Buckeye中，77%的得分差异配对中，AAE版本的毒性得分更高，表明在口语语言语境中偏差更强。
• 基于词汇的模型（如Vader、TextBlob）的偏差小于机器学习模型（如Flair、Perspective、Detoxify），表明基于规则的系统对AAE表达偏差更具鲁棒性。
• 即使在控制了语法（PoS）、语言特征（LIWC）和语义（句子嵌入）之后，大多数模型中AAE表达仍导致显著更高的毒性得分。
• 本研究在YouTube上识别出585,679对高相似度配对，在CORAAL/Buckeye上识别出592,606对，所有数据集和模型中均表现出一致的偏差模式。
• 结果表明偏差是系统性的，而非随机偶然所致，经二项检验确认（p < 0.01），其根源可能在于训练数据的局限性和缺乏上下文理解能力。