[论文解读] Examining Gender Bias in Languages with Grammatical Gender

Pei Zhou, Weijia Shi+5 more|arXiv (Cornell University)|Sep 5, 2019

Natural Language Processing Techniques参考文献 23被引用 6

一句话总结

本论文针对具有语法性别的语言（如西班牙语和法语）的词嵌入，以及这些语言与英语对齐的双语词嵌入，提出了新的度量指标和缓解方法。通过区分语义性别方向与语法性别方向，作者提出了一种混合去偏方法，在保留词嵌入实用性的前提下显著减少了偏见，实现了在词相似度、翻译和关联性任务中的显著偏见降低。

ABSTRACT

Recent studies have shown that word embeddings exhibit gender bias inherited from the training corpora. However, most studies to date have focused on quantifying and mitigating such bias only in English. These analyses cannot be directly extended to languages that exhibit morphological agreement on gender, such as Spanish and French. In this paper, we propose new metrics for evaluating gender bias in word embeddings of these languages and further demonstrate evidence of gender bias in bilingual embeddings which align these languages with English. Finally, we extend an existing approach to mitigate gender bias in word embeddings under both monolingual and bilingual settings. Experiments on modified Word Embedding Association Test, word similarity, word translation, and word pair translation tasks show that the proposed approaches effectively reduce the gender bias while preserving the utility of the embeddings.

研究动机与目标

• 识别并量化具有语法性别的语言（如西班牙语和法语）中词嵌入的性别偏见，其中传统以英语为中心的偏见定义因形态一致而失效。
• 分析性别偏见如何在将性别化语言（如西班牙语、法语）与英语对齐的双语词嵌入中被继承。
• 开发新的评估度量指标，以区分语法性别（形态一致）与语义性别（刻板印象关联）。
• 提出并评估去偏技术，以在减少单语和双语词嵌入中刻板印象性别偏见的同时保留语义实用性。
• 证明在双语设置中，通过结合单语去偏与跨语言对齐的混合方法，可有效实现偏见缓解。

提出的方法

• 定义两个性别方向：通过主成分分析（PCA）对性别定义词对（如 'hombre'/'mujer'）进行分析得到语义性别方向，通过阳性/阴性名词对（如 'agua'/'mesa'）得到语法性别方向。
• 使用改进的词嵌入关联测试（MWEAT）量化偏见，通过测量职业词与性别术语在语义和语法方向上的关联强度。
• 提出两种去偏策略：(1) 沿语义性别方向相对于锚点调整词向量，(2) 先对英语嵌入进行去偏，再与目标语言对齐。
• 将两种策略结合为混合方法（Hybrid_Ori），以联合缓解单语和双语嵌入中的偏见。
• 将去偏过程应用于单语（ES, FR）和双语（ES-EN, FR-EN）词嵌入，同时保持词相似度和翻译性能。
• 通过词相似度、词翻译和词对翻译任务评估结果，确保去偏后嵌入的实用性得以保持。

实验结果

研究问题

• RQ1 在西班牙语和法语等性别化语言中，词嵌入在语法性别之外，语义性别偏见的程度如何？
• RQ2 性别偏见在将性别化语言与英语对齐的双语词嵌入中如何表现？
• RQ3 适用于英语的现有去偏技术能否直接应用于具有语法性别的语言，还是必须开发新的定义与方法？
• RQ4 结合单语去偏与跨语言对齐的混合去偏方法，是否能有效减少偏见并保留嵌入质量？
• RQ5 英语与性别化语言嵌入中的性别偏见之间存在何种相关性？不同语言间的偏见有何差异？

主要发现

• 所提出的混合去偏方法（Hybrid_Ori）在单语和双语词嵌入中均显著降低了性别偏见，ES-EN 和 FR-EN 双语设置中，男性与女性职业形式的 MRR 差距降至接近零。
• 去偏后，职业词阳性与阴性形式之间的平均余弦相似度差异降至 0.1 以下，表明对称性得到改善。
• 词相似度和词翻译任务表明，去偏后嵌入的实用性得以保持，所有评估任务中性能下降微乎其微。
• 英语与西班牙语词嵌入中的性别偏见之间存在统计显著的斯皮尔曼等级相关性（r = 0.45，p = 0.0004），表明跨语言存在共享的偏见模式。
• 研究证实，语法性别（如 'enfermero' 与 'enfermera'）天然携带性别信息，不应被视为偏见；但语义偏见（如 'abogado' 比 'abogada' 更接近 'lawyer'）则存在问题，需加以缓解。
• 结果表明，双语嵌入会从单语源中继承并放大语义性别偏见，因此在多语言设置中必须有针对性地进行去偏。