[论文解读] Learning Gender-Neutral Word Embeddings

Jieyu Zhao, Yichao Zhou+3 more|arXiv (Cornell University)|Aug 29, 2018

Natural Language Processing Techniques参考文献 33被引用 33

一句话总结

本文提出 GN-GloVe，一种新颖的方法，通过将性别信息隔离在特定向量维度中，同时保留语义含义，来训练性别中立的词嵌入。通过在训练过程中联合学习性别中立的词与嵌入，GN-GloVe 消除了外部分类器带来的误差传播，并在不牺牲词相似性性能的前提下，减少了下游 NLP 任务中的性别偏见。

ABSTRACT

Word embedding models have become a fundamental component in a wide range of Natural Language Processing (NLP) applications. However, embeddings trained on human-generated corpora have been demonstrated to inherit strong gender stereotypes that reflect social constructs. To address this concern, in this paper, we propose a novel training procedure for learning gender-neutral word embeddings. Our approach aims to preserve gender information in certain dimensions of word vectors while compelling other dimensions to be free of gender influence. Based on the proposed method, we generate a Gender-Neutral variant of GloVe (GN-GloVe). Quantitative and qualitative experiments demonstrate that GN-GloVe successfully isolates gender information without sacrificing the functionality of the embedding model.

研究动机与目标

• 解决预训练词嵌入中的性别偏见问题，这些偏见反映了人类语料库中的社会刻板印象。
• 消除用于后处理性别中立词识别的外部分类器带来的误差传播。
• 在中和非保护维度中的性别影响的同时，保留词嵌入的语义功能。
• 开发一种可推广的方法，适用于性别以外的其他受保护属性。

提出的方法

• 引入一种联合训练过程，同时学习词嵌入并识别性别中立词，避免依赖外部分类器。
• 将与性别相关的信息限制在词向量空间的特定指定维度中，从而实现轻松移除或隔离。
• 修改 GloVe 目标函数，加入正则化项，以惩罚非保护维度中的性别影响。
• 使用一组性别定义词（例如 'mother', 'waitress'）作为种子词，以定义性别子空间。
• 在非性别维度上应用 L1 和 L2 正则化，以强制实现中立性，形成 GN-GloVe-L1 和 GN-GloVe-L2 变体。
• 端到端训练模型，使性别中立词在优化过程中被隐式识别，而非通过后处理获得。

实验结果

研究问题

• RQ1 我们能否训练出在非保护维度中去除性别偏见的同时保留语义意义的词嵌入？
• RQ2 将性别信息隔离在特定向量维度中，是否能提高可解释性并减少下游 NLP 任务中的偏见？
• RQ3 通过联合学习性别中立词识别与嵌入训练，能否消除来自外部分类器的误差传播？
• RQ4 GN-GloVe 在保留词相似性和类比性能方面，与基线模型和后处理模型相比表现如何？
• RQ5 GN-GloVe 在多大程度上减少了共指消解系统中的性别偏见？

主要发现

• 在 OntoNotes 5.0 共指消解基准测试中，GN-GloVe 的 F1 得分为 66.2，与 GloVe 和 Hard-GloVe 表现相当。
• 在 WinoBias 数据集上，GN-GloVe 将支持刻板印象与反对刻板印象子集之间的 F1 分数差异降低至 20.5，显著低于 GloVe 的 30.2。
• GN-GloVe(𝑤(𝑎))（仅使用非性别维度）的偏见差异为 16.1，进一步降低了共指消解中的性别偏见。
• 在词相似性任务中，GN-GloVe 保持了高性能，Spearman 相关系数在多个数据集上介于 72.2 到 76.4 之间。
• 在性别关系类比任务中，GN-GloVe 的准确率为 68.9%–68.8%，略低于 GloVe 的 70.8%，表明语义接近度的退化极小。
• 该方法成功地将性别信息隔离在指定维度中，实现了轻松移除，同时保持了模型的功能实用性。