[论文解读] Gender Bias in Contextualized Word Embeddings

Jieyu Zhao, Tianlu Wang+4 more|ArXiv.org|Apr 5, 2019

Natural Language Processing Techniques参考文献 27被引用 37

一句话总结

本文分析了 ELMo 上下文嵌入中的性别偏见，揭示了训练数据偏斜导致的偏见，展示了在 WinoBias 上下游共指任务的偏见结果，并比较了数据增强与嵌入中和化作为缓解策略。

ABSTRACT

In this paper, we quantify, analyze and mitigate gender bias exhibited in ELMo's contextualized word vectors. First, we conduct several intrinsic analyses and find that (1) training data for ELMo contains significantly more male than female entities, (2) the trained ELMo embeddings systematically encode gender information and (3) ELMo unequally encodes gender information about male and female entities. Then, we show that a state-of-the-art coreference system that depends on ELMo inherits its bias and demonstrates significant bias on the WinoBias probing corpus. Finally, we explore two methods to mitigate such gender bias and show that the bias demonstrated on WinoBias can be eliminated.

研究动机与目标

• 证明 ELMo 嵌入由于训练数据偏见而编码了性别偏见。
• 通过 PCA 表征 ELMo 中性别信息的几何结构。
• 展示 ELMo 将性别偏见转移到 WinoBias 的共指系统。
• 评估缓解下游任务偏见的策略。
• 比较数据增强与测试时中和化在偏见缓解方面的效果。

提出的方法

• 对 ELMo 训练数据的内在分析，显示性别偏斜以及与职业的共现模式。
• 主成分分析以识别 ELMo 嵌入中的性别子空间。
• 训练一个带 RBF 核的 SVM，利用 ELMo 职业嵌入来预测性别。
• 在 WinoBias 上评估一个使用 ELMo 的最先进共指系统，以衡量亲立论/反立论的性能差异。
• 测试两种缓解策略：(i) 训练阶段使用性别对换数据进行数据增强，(ii) 测试阶段通过将表示与性别相反的句子变体取平均来实现嵌入中和。

实验结果

研究问题

• RQ1 ELMo 是否在其上下文化嵌入中编码了性别信息？
• RQ2 ELMo 编码的性别信息在男性与女性实体之间是否对称？
• RQ3 基于 ELMo 的共指在 WinoBias 数据集上是否表现出偏见？
• RQ4 是否可以通过数据增强或嵌入中和来缓解偏见？

主要发现

• ELMo 的训练数据中男性实体多于女性实体，且男性代词与职业的共现总体上更频繁。
• 在 ELMo 中存在两个与性别相关的主成分，表示上下文和职业相关的性别信息。
• 一个分类器可以从 ELMo 职业嵌入中以高准确率预测性别，并且男性信息的映射强度至少比女性高出 14%。
• 基于 ELMo 的共指系统在 WinoBias 上表现出显著的亲/反立场的准确率差异，超过基于 GloVe 的系统。
• 数据增强在很大程度上缓解了共指模型中的偏见，而测试时中和在某些情形下仅部分地或有限地减少偏见。