[论文解读] It's All in the Name: Mitigating Gender Bias with Name-Based Counterfactual Data Substitution

Rowan Hall Maudslay, Hila Gonen+2 more|arXiv (Cornell University)|Jan 1, 2019

Hate Speech and Cyberbullying Detection参考文献 19被引用 4

一句话总结

本文提出了反事实数据替换（CDS）和姓名干预方法，以缓解词嵌入中的直接与间接性别偏见。通过使用性别配对的姓名对替换语料库中的姓名并应用反事实增强，该方法在平均情况下将性别聚类纯度降低了49%，在非偏见性别类比任务中比基于投影的方法WED高出19%。

ABSTRACT

This paper treats gender bias latent in word embeddings. Previous mitigation attempts rely on the operationalisation of gender bias as a projection over a linear subspace. An alternative approach is Counterfactual Data Augmentation (CDA), in which a corpus is duplicated and augmented to remove bias, e.g. by swapping all inherently-gendered words in the copy. We perform an empirical comparison of these approaches on the English Gigaword and Wikipedia, and find that whilst both successfully reduce direct bias and perform well in tasks which quantify embedding quality, CDA variants outperform projection-based methods at the task of drawing non-biased gender analogies by an average of 19% across both corpora. We propose two improvements to CDA: Counterfactual Data Substitution (CDS), a variant of CDA in which potentially biased text is randomly substituted to avoid duplication, and the Names Intervention, a novel name-pairing technique that vastly increases the number of words being treated. CDA/S with the Names Intervention is the only approach which is able to mitigate indirect gender bias: following debiasing, previously biased words are significantly less clustered according to gender (cluster purity is reduced by 49%), thus improving on the state-of-the-art for bias mitigation.

研究动机与目标

• 为解决基于投影的去偏方法（如WED）无法缓解间接性别偏见的局限性。
• 通过减少文本重复并提高性别词汇覆盖范围，改进反事实数据增强（CDA）。
• 开发一种可扩展的基于姓名的干预方法，以捕捉超越简单词对的性别偏见。
• 评估去偏方法在下游自然语言处理任务（如情感分类和词相似性）中是否保持实用性。
• 探究通过线性子空间去除性别偏见是否过度纠正，从而移除有用的性别信息。

提出的方法

• 提出反事实数据替换（CDS），一种CDA的变体，通过替换有偏文本而非复制语料库来避免指数级增长。
• 引入姓名干预方法，一种使用频率和性别特异性生成平衡的男女姓名对的配对策略。
• 将CDS与姓名干预方法结合，创建一个系统性地交换性别化姓名的反事实语料库。
• 利用生成的语料库重新训练词嵌入，旨在减少直接与间接性别偏见。
• 通过聚类最偏见的词语来测量性别聚类纯度的降低。
• 在非偏见性别类比、SimLex-999和情感分类任务上评估性能，以评估实用性保持情况。

实验结果

研究问题

• RQ1 CDA及其变体能否通过降低词嵌入中性别聚类纯度来缓解间接性别偏见？
• RQ2 在大规模语料库上，CDS与CDA在性能和计算效率方面相比如何？
• RQ3 WED是否因在非偏见性别类比任务中表现差而显示出去除了过多的性别信息？
• RQ4 与标准CDA相比，姓名干预方法在覆盖范围和去偏效果方面提升了多少？
• RQ5 去偏后的嵌入在下游自然语言处理任务（如情感分类和词相似性）中是否仍保持实用性？

主要发现

• 在English Gigaword和Wikipedia上，CDA/S与姓名干预方法平均将性别聚类纯度降低了49%，成功缓解了间接性别偏见。
• 在非偏见性别类比任务中，CDA和CDS比WED变体平均高出19%，表明其更好地保留了性别语义。
• WED70在非偏见类比任务中的表现甚至劣于未经缓解的基线（Gigaword上的错误率为27.1%），表明其去除了过多的性别信息。
• 姓名干预方法能够有效处理超越简单词对的性别化姓名，显著扩展了去偏范围。
• CDS和CDA生成的去偏嵌入在SimLex-999和情感分类任务中仍保持强劲性能，表明其具备实用性。
• 由于采用替换而非复制，CDS在计算效率上优于CDA，并且可在不引起语料库指数级增长的情况下支持多层干预。