[论文解读] Double-Hard Debias: Tailoring Word Embeddings for Gender Bias Mitigation

Tianlu Wang, Xi Lin+4 more|arXiv (Cornell University)|May 3, 2020

Topic Modeling参考文献 25被引用 7

一句话总结

本文提出双硬去偏（Double-Hard Debias），一种两步后处理方法，首先从预训练词嵌入中去除由词频引起的失真，然后再应用硬去偏技术以减轻性别偏见。该方法在多个基准测试中显著降低了性别偏见，同时保持了语义质量，在表示层面和下游任务评估中均优于先前的去偏方法。

ABSTRACT

Word embeddings derived from human-generated corpora inherit strong gender bias which can be further amplified by downstream models. Some commonly adopted debiasing approaches, including the seminal Hard Debias algorithm, apply post-processing procedures that project pre-trained word embeddings into a subspace orthogonal to an inferred gender subspace. We discover that semantic-agnostic corpus regularities such as word frequency captured by the word embeddings negatively impact the performance of these algorithms. We propose a simple but effective technique, Double Hard Debias, which purifies the word embeddings against such corpus regularities prior to inferring and removing the gender subspace. Experiments on three bias mitigation benchmarks show that our approach preserves the distributional semantics of the pre-trained word embeddings while reducing gender bias to a significantly larger degree than prior approaches.

研究动机与目标

• 为解决现有后处理去偏方法（如硬去偏）的局限性，例如因语料规律（如词频）干扰而无法准确分离性别方向的问题。
• 探究词频统计如何扭曲词嵌入中的性别方向，从而损害去偏性能。
• 开发一种在保持预训练嵌入语义分布特性的同时，实现更优性别偏见减少的去偏方法。
• 在多个基准上评估所提方法的有效性，包括类比任务、WEAT、邻域度量以及共指消解。

提出的方法

• 首先通过在受频率影响的子空间上应用主成分分析（PCA），识别并去除预训练词嵌入中的主导频率相关分量。
• 然后对净化后的嵌入应用原始硬去偏算法，以去除性别方向，此时该方向受频率效应的影响已显著降低。
• 通过分析词频变化如何影响性别差异向量与其它性别向量之间余弦相似度的变化，识别出频率分量，从而隔离出最具影响力的频率方向。
• 该方法采用两阶段投影：首先投影到与频率正交的子空间，再投影到与性别正交的子空间，确保性别偏见去除不受频率统计的干扰。
• 该方法应用于GloVe和fastText嵌入，并通过内在（如WEAT、邻域度量）和外在（如共指消解）基准进行评估。

实验结果

研究问题

• RQ1 训练语料中的词频在多大程度上扭曲了词嵌入中的性别方向，从而削弱后处理去偏的有效性？
• RQ2 从词嵌入中去除与频率相关的分量是否能提高性别方向估计的准确性，并改善后续去偏效果？
• RQ3 双硬去偏是否在实现更优性别偏见缓解的同时，保持了词嵌入的语义质量，相较于先前方法表现更优？
• RQ4 该方法在多种评估协议（包括类比任务、WEAT和共指消解）中的表现如何？

主要发现

• 双硬去偏在WEAT和邻域度量上显著降低了性别偏见，优于所有先前的去偏方法，包括硬去偏和其他后处理技术。
• 在共指消解基准上，双硬去偏GloVe在所有去偏模型中表现最佳，证明其在下游NLP任务中提升了公平性。
• 实验表明，调整词频会导致性别差异向量相似度发生显著变化，证实频率强烈扭曲了性别方向估计。
• 通过PCA识别出的最具影响力的频率分量被去除后，去偏性能提升最大，验证了该方法设计选择的合理性。
• 在四个基准数据集上，双硬去偏在词类比和概念分类任务中与原始GloVe表现相当，证明其保持了良好的语义相似性。