[论文解读] Black is to Criminal as Caucasian is to Police: Detecting and Removing Multiclass Bias in Word Embeddings

Thomas Manzini, Yao Chong Lim+2 more|arXiv (Cornell University)|Apr 3, 2019

Text Readability and Simplification被引用 4

一句话总结

本文提出了一种词嵌入中偏差去偏化的多类别推广方法，将Bolukbasi等人（2016）的二元性别去偏方法扩展至种族和宗教。该研究引入了一种新颖的评估指标（MAC得分），并证明多类别去偏显著降低了偏差，同时在命名实体识别（NER）和词性标注（POS）分块等下游自然语言处理任务中保持了性能。

ABSTRACT

Online texts -- across genres, registers, domains, and styles -- are riddled with human stereotypes, expressed in overt or subtle ways. Word embeddings, trained on these texts, perpetuate and amplify these stereotypes, and propagate biases to machine learning models that use word embeddings as features. In this work, we propose a method to debias word embeddings in multiclass settings such as race and religion, extending the work of (Bolukbasi et al., 2016) from the binary setting, such as binary gender. Next, we propose a novel methodology for the evaluation of multiclass debiasing. We demonstrate that our multiclass debiasing is robust and maintains the efficacy in standard NLP tasks.

研究动机与目标

• 解决现有去偏方法仅能处理性别等二元人口统计属性的局限性。
• 检测并缓解由真实世界文本语料库训练产生的词嵌入中的多类别偏差。
• 开发一个稳健的评估框架，用于衡量在多个人口统计类别中偏差减少的程度。
• 在去偏后保持嵌入的语义实用性，确保与标准自然语言处理任务的兼容性。
• 证明多类别去偏在多种自然语言处理应用中具有统计显著性且效果显著。

提出的方法

• 将Bolukbasi等人（2016）的二元性别去偏框架推广至种族和宗教等多类别场景。
• 通过代表不同人口统计类别的词语集合（如种族或宗教刻板印象）识别多类别偏差子空间。
• 通过将偏差分量从中性词语中投影出去，并对等价词语集中的嵌入进行等化，实施硬性去偏。
• 使用一种新颖的指标——多类别平均余弦（MAC）得分，评估多类别中的偏差减少情况。
• 在Reddit L2语料库上训练word2vec嵌入，并利用社会科学与自然语言处理偏差研究中的词典实施去偏。
• 通过命名实体识别（NER）、词性标注（POS）和POS分块任务评估下游性能，以检验实用性保持情况。

实验结果

研究问题

• RQ1 二元去偏框架能否有效扩展至种族和宗教等多类别人口统计属性？
• RQ2 如何在多个而非仅两个人口统计类别中测量和评估词嵌入中的偏差？
• RQ3 多类别去偏是否在不降低标准自然语言处理任务性能的前提下，减少了刻板印象类比（如“Black → Criminal”、“Caucasian → Police”）？
• RQ4 偏差子空间是否足够稳健，以支持在多样化人口类别中的一致去偏？
• RQ5 去偏在多大程度上保留了词嵌入在下游自然语言处理应用中的语义实用性？

主要发现

• 所提出的多类别去偏方法显著降低了偏差，表现为MAC得分趋近于1.0，且p值显示具有统计显著性。
• 去偏导致刻板印象类比（如“Black → Criminal”和“Muslim → Warzone”）明显减少，证实了偏差缓解效果。
• 去偏后，命名实体识别（NER）和词性标注（POS）分块任务的下游性能有所提升，而词性标注任务则表现出轻微的、通常不显著的性能下降。
• 该方法保持了语义实用性，表现为与现成嵌入相比，在标准自然语言处理任务中性能下降极小。
• 偏差子空间足够稳健，可支持一致去偏，这一点通过MAC得分的统计显著变化得到验证。
• 尽管去除了偏差分量，聚类级别的偏差（如词语邻域中的相似偏差）仍然存在，表明基于分量的去偏方法存在局限性——与Gonen和Goldberg（2019）的发现一致。