[论文解读] Examining Gender and Race Bias in Two Hundred Sentiment Analysis Systems

Svetlana Kiritchenko, Saif M. Mohammad|arXiv (Cornell University)|May 11, 2018

Hate Speech and Cyberbullying Detection参考文献 26被引用 31

一句话总结

本文提出了公平性评估语料库（EEC），这是一个包含8,640个英文句子的基准数据集，旨在检测情感分析系统中的性别与种族偏见。利用EEC，作者评估了SemEval-2018任务1中的219个系统，发现超过75%的系统表现出统计上显著的偏见，持续对涉及某一性别或种族的句子赋予更高的情感强度，偏见程度最高可达34%。

ABSTRACT

Automatic machine learning systems can inadvertently accentuate and perpetuate inappropriate human biases. Past work on examining inappropriate biases has largely focused on just individual systems. Further, there is no benchmark dataset for examining inappropriate biases in systems. Here for the first time, we present the Equity Evaluation Corpus (EEC), which consists of 8,640 English sentences carefully chosen to tease out biases towards certain races and genders. We use the dataset to examine 219 automatic sentiment analysis systems that took part in a recent shared task, SemEval-2018 Task 1 'Affect in Tweets'. We find that several of the systems show statistically significant bias; that is, they consistently provide slightly higher sentiment intensity predictions for one race or one gender. We make the EEC freely available.

研究动机与目标

• 识别并测量自动情感分析系统中的性别与种族偏见。
• 开发一个标准化的基准数据集，用于评估自然语言处理系统的公平性。
• 检查情感强度预测是否系统性地因文本中提及的个体性别或种族而异。
• 评估此类偏见对不同情感维度（如愤怒、恐惧、效价等）的影响程度。
• 为开发者和研究人员提供一个公开资源，用于审计和提升情感分析系统的公平性。

提出的方法

• 公平性评估语料库（EEC）由8,640个句子构成，这些句子经过精心配对，仅在表示性别或种族的一个词语上有所不同，从而实现受控比较。
• EEC被用作SemEval-2018任务1的补充测试集，该任务评估推文中的情感与情绪强度。
• 通过比较系统在仅性别或种族不同的句子对上预测的情感强度得分，对系统进行评估。
• 应用统计显著性检验，以检测在多个句子对中，某一性别或种族是否持续获得更高的得分。
• 训练一个仅基于单字词的基线SVM系统，以隔离源自训练数据的偏见。
• 分析不同情感维度（包括愤怒、恐惧、悲伤和效价强度）中的偏见差异。

实验结果

研究问题

• RQ1 当句子之间唯一的区别是提及人物的性别时，情感分析系统在预测情感强度方面是否表现出统计上显著的偏见？
• RQ2 当句子之间唯一的区别是人物的种族时，系统是否表现出类似的偏见，特别是欧洲裔美国人与非裔美国人姓名之间？
• RQ3 愤怒、恐惧、悲伤和效价等不同情绪强度维度中的偏见程度与方向如何变化？
• RQ4 在不使用预训练词嵌入或外部词典的系统中，偏见在多大程度上存在，这表明其源于数据层面？
• RQ5 同一系统在预测不同特定情感维度时，是否可能表现出不同的偏见模式？

主要发现

• 在评估的219个情感分析系统中，超过75%在基于性别或种族的情感强度预测中表现出统计上显著的偏见。
• 平均偏见幅度小于0.03（即0至1得分范围的3%），但部分系统的偏见高达0.34（34%）。
• 基于种族的偏见比基于性别的偏见更普遍，系统持续对涉及欧洲裔美国人姓名的句子赋予更高的情感强度。
• 即使是一个仅基于单字词训练的简单基线SVM系统也表现出微小但显著的偏见，表明偏见源于训练数据。
• 偏见的方向因情感维度而异：例如，提及男性的句子在愤怒和恐惧得分上更高，而在某些情况下，提及女性的句子在效价上得分更高。
• 在EEC上未表现出显著偏见的系统，其在主SemEval-2018测试集上的表现往往更差，表明公平性与准确性之间可能存在权衡。