[论文解读] Equalizing Gender Biases in Neural Machine Translation with Word Embeddings Techniques

Joel Escudé Font, Marta R. Costa‐jussà|arXiv (Cornell University)|Jan 10, 2019

Natural Language Processing Techniques参考文献 19被引用 44

一句话总结

该论文在 Transformer NMT 系统中去偏见词嵌入，以降低英西翻译中的性别偏见，同时保持或提升 BLEU 分数。

ABSTRACT

Neural machine translation has significantly pushed forward the quality of the field. However, there are remaining big issues with the output translations and one of them is fairness. Neural models are trained on large text corpora which contain biases and stereotypes. As a consequence, models inherit these social biases. Recent methods have shown results in reducing gender bias in other natural language processing tools such as word embeddings. We take advantage of the fact that word embeddings are used in neural machine translation to propose a method to equalize gender biases in neural machine translation using these representations. Specifically, we propose, experiment and analyze the integration of two debiasing techniques over GloVe embeddings in the Transformer translation architecture. We evaluate our proposed system on the WMT English-Spanish benchmark task, showing gains up to one BLEU point. As for the gender bias evaluation, we generate a test set of occupations and we show that our proposed system learns to equalize existing biases from the baseline system.

研究动机与目标

• 使用针对性职业测试集评估神经机器翻译中的性别偏见。
• 在 NMT 框架内评估对词嵌嵌入（GloVe 变体）的去偏见策略。
• 连同性别偏见指标一起衡量翻译质量影响（BLEU）。
• 比较仅编码器、仅解码器以及编码器+解码器部署预训练词嵌入。

提出的方法

• 采用基于 Transformer 的 NMT（OpenNMT 实现）作为基线。
• 在编码器、解码器或两者中使用预训练词嵌入（GloVe 变体）。
• 应用去偏见技术：Bolukbasi 风格的硬去偏见和 GN-GloVe 性别中性嵌入。
• 使用 512 维嵌入和标准 OpenNMT 超参数训练模型。
• 使用 newstest2013 的 BLEU 评估翻译并用职业测试集评估性别偏见。

实验结果

研究问题

• RQ1 在 NMT 中加入去偏见或性别中性词嵌入是否降低翻译中的性别偏见？
• RQ2 预训练词嵌入的不同放置位置（编码器、解码器或两者）如何影响 BLEU 分数和偏见缓解？
• RQ3 去偏见技术在减少输出中的性别刻板印象的同时，在多大程度上保留翻译质量？

主要发现

• BLEU 分数在使用预训练嵌入时几乎不降甚至在某些情况下有所提高，尤其是在编码器与解码器都使用 GN-GloVe 时。
• GN-GloVe 嵌入在 Enc./Dec. 的测试配置中获得了最高的 BLEU（30.74）。
• 去偏见嵌入显著提高职业测试中的性别正确翻译，例如对女性代词预测的准确性较基线提高多达约30个百分点。
• 硬去偏见 GloVe 和 GN-GloVe 通常在性别中性翻译任务上超过非去偏见基线。
• 使用预训练嵌入通常带来 BLEU 提升并维持英-西 NT 的翻译质量。
• 职业测试显示去偏见使基于上下文的性别分辨率得到改善，同时某些职业翻译仍具挑战性。