[论文解读] Challenges in Automated Debiasing for Toxic Language Detection

Xuhui Zhou, Maarten Sap+3 more|arXiv (Cornell University)|Jan 29, 2021

Hate Speech and Cyberbullying Detection参考文献 42被引用 12

一句话总结

本文研究了自动化去偏方法在毒性语言检测中的有效性，重点关注词汇和方言（非洲裔美国人英语，AAE）偏见。尽管测试了多种去偏技术，作者发现这些方法在减少偏见方面效果甚微；相反，通过合成方言翻译对数据进行重标注，能更有效地缓解毒性分类中的方言和种族差异。

ABSTRACT

Biased associations have been a challenge in the development of classifiers for detecting toxic language, hindering both fairness and accuracy. As potential solutions, we investigate recently introduced debiasing methods for text classification datasets and models, as applied to toxic language detection. Our focus is on lexical (e.g., swear words, slurs, identity mentions) and dialectal markers (specifically African American English). Our comprehensive experiments establish that existing methods are limited in their ability to prevent biased behavior in current toxicity detectors. We then propose an automatic, dialect-aware data correction method, as a proof-of-concept. Despite the use of synthetic labels, this method reduces dialectal associations with toxicity. Overall, our findings show that debiasing a model trained on biased toxic language data is not as effective as simply relabeling the data to remove existing biases.

研究动机与目标

• 评估现有自动化去偏方法是否能有效减少毒性语言检测模型中的词汇和方言偏见。
• 探究在固有偏见数据集上训练的模型中持续存在偏见的根本原因，特别是针对非洲裔美国人英语（AAE）标记。
• 探索基于方言翻译的合成数据重标注是否能优于标准去偏技术，以减少偏见。
• 突出当前去偏方法在毒性语言检测中的局限性，其中偏见源于社会和语言权力关系，而非简单的数据集缺陷。
• 倡导通过专家指导的标注和方言意识的标注来提升数据质量，而非依赖事后模型去偏。

提出的方法

• 在Founta等人（2018）的毒性语言检测数据集上应用现有的去偏方法——具体为去偏训练（Clark等人，2019）和基于偏见可能性的数据过滤。
• 使用少样本GPT-3方言翻译系统，将非洲裔美国人英语（AAE）话语转化为主流美国英语（MAE），同时保留原始语义。
• 对原始AAE版本被标记为有毒但MAE翻译未被标记为有毒的训练样本进行重标注，构建一个合成的、具有方言意识的训练集。
• 在原始有偏数据集和重标注的合成数据集上分别训练毒性分类器，并比较其性能与公平性指标。
• 通过公平性指标（如AAE识别推文的假阳性率（FPR）和不同种族身份群体间的毒性标记差异）衡量去偏效果。
• 在标准测试集上评估模型性能，同时考虑金标准标注中的标签偏见。

实验结果

研究问题

• RQ1 现有自动化去偏方法能否有效减少毒性语言检测模型中的词汇和方言偏见？
• RQ2 去偏方法在缓解毒性标记中的种族差异方面表现如何，特别是针对非洲裔美国人英语（AAE）语言？
• RQ3 基于方言翻译的合成数据重标注在减少方言和种族偏见方面，与标准去偏技术相比效果如何？
• RQ4 为何当前去偏方法无法消除毒性语言检测中的偏见，尤其是当偏见根植于社会和语言不平等等级关系时？
• RQ5 数据质量——特别是说话人身份和方言代表性——在减少毒性检测系统偏见方面发挥何种作用？

主要发现

• 现有自动化去偏方法，包括去偏训练和数据过滤，在减少毒性语言检测模型中的词汇和方言偏见方面效果有限。
• 在过滤或去偏数据上训练的模型仍表现出显著偏见，将非洲裔美国人英语（AAE）标记视为有毒的频率高于主流美国英语（MAE）变体。
• 具有方言意识的合成重标注方法使AAE推文的假阳性率（FPR）相比其他去偏方法降低了1个百分点，表明公平性有所提升。
• 在AAE重标注数据上训练的模型在毒性标记率的种族差异方面表现最佳，优于所有其他去偏和基线模型。
• 尽管F1分数略有下降（1个百分点），但AAE重标注模型在公平性与性能之间实现了最佳平衡，表明数据质量比模型层面的去偏更具影响力。
• 本研究警告不应在现实世界中使用GPT-3进行方言翻译，因其生成输出可能存在毒性，且在预训练阶段缺乏对AAE的充分暴露。