[论文解读] A Causal Inference Method for Reducing Gender Bias in Word Embedding Relations

Zekun Yang, Juan Feng|arXiv (Cornell University)|Nov 25, 2019

Topic Modeling参考文献 30被引用 5

一句话总结

本文提出了一种基于因果推断的后处理方法——半同胞回归（Half-Sibling Regression, HSR），通过利用性别定义词与非性别定义词之间的统计依赖关系，学习并减去非性别定义词中的虚假性别信息，从而减少词嵌入中的性别偏见。该方法在性别去偏、词汇级、句子级以及共指消解任务中均达到最先进性能，以极少的超参数调优同时降低了词向量关系中的性别偏见和性别方向偏见。

ABSTRACT

Word embedding has become essential for natural language processing as it boosts empirical performances of various tasks. However, recent research discovers that gender bias is incorporated in neural word embeddings, and downstream tasks that rely on these biased word vectors also produce gender-biased results. While some word-embedding gender-debiasing methods have been developed, these methods mainly focus on reducing gender bias associated with gender direction and fail to reduce the gender bias presented in word embedding relations. In this paper, we design a causal and simple approach for mitigating gender bias in word vector relation by utilizing the statistical dependency between gender-definition word embeddings and gender-biased word embeddings. Our method attains state-of-the-art results on gender-debiasing tasks, lexical- and sentence-level evaluation tasks, and downstream coreference resolution tasks.

研究动机与目标

• 为解决现有去偏方法无法减少词向量关系中性别偏见的问题，而不仅限于性别方向偏见。
• 开发一种轻量级的后处理方法，无需将词语分类为性别中性或性别有偏类别。
• 通过缓解方向相关和关系相关的两类性别偏见，提升词嵌入的公平性与整体质量。
• 通过减少模型输出中的性别偏见，提升下游NLP任务（如共指消解）的性能。
• 提供一种理论可解释的因果框架，利用半同胞回归模型对词嵌入进行去偏。

提出的方法

• 该方法使用因果推断中的半同胞框架，建模性别定义词与非性别定义词之间的虚假关联。
• 通过岭回归估计非性别定义词向量中受其与性别定义词统计依赖影响的虚假性别影响。
• 将估计出的虚假性别成分从原始词向量中减去，从而生成去偏后的嵌入表示。
• 该方法仅需一个超参数（岭正则化），且无需预先对词语进行性别中性或有偏分类。
• 去偏过程在模型训练后进行，因此可兼容任意预训练的非上下文化词嵌入模型。
• 该方法在理论上基于因果推断，将性别定义词视为影响词向量关系的后门混淆因子。

实验结果

研究问题

• RQ1 基于因果推断的方法能否有效减少词向量关系中的性别偏见，而不仅限于性别方向？
• RQ2 后处理方法能否在极少超参数调优且无需词语分类的情况下实现最先进去偏性能？
• RQ3 所提出的方法是否能同时提升词嵌入的词汇级和句子级语义质量？
• RQ4 该方法在下游共指消解任务中能多大程度上减少性别偏见？
• RQ5 半同胞回归框架能否用于解耦并去除词嵌入中的虚假性别关联？

主要发现

• 在GBWR-Correlation和GBWR-Profession任务上，HSR分别较第二名方法提升了6.72%和4.98%。
• 在相同任务上，HSR较原始GloVe嵌入分别提升了16.89%和17.02%。
• 在八个词汇级评估任务中，HSR相较先前最佳后处理方法平均提升6.96%。
• 在二十个句子级评估任务中，HSR相较最佳先前方法平均提升14.19%。
• 在WinoBias共指消解任务中，HSR相较第二名方法将亲刻板印象与反刻板印象句子之间的准确率差异降低了87.26%。
• HSR在所有方法中取得了最低的WinoBias-Diff得分（2.0），表明其在亲刻板印象与反刻板印象句子上的性能几乎完全一致。