[论文解读] Gender Bias in Multilingual Embeddings and Cross-Lingual Transfer

Jieyu Zhao, Subhabrata Mukherjee+3 more|arXiv (Cornell University)|May 2, 2020

Topic Modeling参考文献 32被引用 7

一句话总结

本文研究了多语言词嵌入中的性别偏见及其在跨语言迁移学习中的传播。提出了内在和外在偏见度量方法，表明与性别丰富语言对齐可减少偏见，并展示了 M-BERT 在不同目标语言下可能保留或放大偏见，为下游 NLP 任务提供了实用的偏见缓解策略。

ABSTRACT

Multilingual representations embed words from many languages into a single semantic space such that words with similar meanings are close to each other regardless of the language. These embeddings have been widely used in various settings, such as cross-lingual transfer, where a natural language processing (NLP) model trained on one language is deployed to another language. While the cross-lingual transfer techniques are powerful, they carry gender bias from the source to target languages. In this paper, we study gender bias in multilingual embeddings and how it affects transfer learning for NLP applications. We create a multilingual dataset for bias analysis and propose several ways for quantifying bias in multilingual representations from both the intrinsic and extrinsic perspectives. Experimental results show that the magnitude of bias in the multilingual representations changes differently when we align the embeddings to different target spaces and that the alignment direction can also have an influence on the bias in transfer learning. We further provide recommendations for using the multilingual word representations for downstream tasks.

研究动机与目标

• 理解单语词嵌入中的性别偏见如何通过多语言对齐和跨语言迁移传播。
• 开发适用于多种语言的内在和外在偏见测量方法。
• 评估对齐目标（如英语与性别丰富语言）对多语言嵌入中偏见的影响。
• 评估上下文感知模型（如 M-BERT）在不同语言和迁移方向上的偏见。
• 为减少多语言 NLP 系统中的偏见提供可操作的建议。

提出的方法

• 构建了一个覆盖英语、西班牙语、德语和法语的多语言偏见分析数据集，用于内在和外在偏见评估。
• 基于多语言嵌入空间中的性别关联词，提出内在偏见度量方法。
• 通过迁移学习设计外在偏见评估：在英语上训练，在其他语言上测试，使用性别平衡和不平衡的数据。
• 使用词嵌入关联测试（WEAT）和职业词上的性别分类准确率评估偏见。
• 通过对抗性去偏方法进行偏见缓解，将嵌入对齐到更少偏见的参考空间（例如 ENDEB）。
• 在多种语言迁移方向上，比较 fastText 基础多语言嵌入与 M-BERT 的性能和偏见表现。

实验结果

研究问题

• RQ1 单语词嵌入中的性别偏见在对齐后如何体现在多语言嵌入中？
• RQ2 对齐目标的选择（如英语与性别丰富语言）如何影响多语言表征中的偏见？
• RQ3 多语言嵌入中的偏见在多大程度上传播到下游的跨语言迁移学习任务中？
• RQ4 与静态多语言嵌入相比，上下文感知模型（如 M-BERT）在偏见和性能方面表现如何？
• RQ5 简单的缓解技术是否能在不牺牲迁移性能的前提下减少多语言嵌入中的偏见？

主要发现

• 多语言嵌入中的偏见显著取决于对齐目标，与性别丰富语言（如西班牙语）对齐比与英语对齐更能有效减少偏见。
• 在多语言嵌入上训练的迁移学习模型表现出可测量的性别偏见，法语文本中性别分类准确率的平均绝对差值为 8.75（表 11）。
• 当训练语料库被调整为性别平衡后，迁移学习中的偏见依然存在，表明偏见既源于数据也源于嵌入表示。
• 将嵌入对齐到性别丰富语言可减少下游任务中的偏见，EN→ES 迁移中偏见差异为 4.16（表 8），而与英语对齐时为 5.48。
• M-BERT 的整体性能优于 fastText 嵌入，但在某些迁移方向上表现出更高的偏见（如 EN→FR 的 |diff| = 8.97），表明性能与公平性之间存在权衡。
• 通过将嵌入对齐到更少偏见的参考空间（如 ENDEB）实施偏见缓解，可减少迁移学习中的偏见，证明去偏技术在多语言设置中有效。