[论文解读] Gender Lost In Translation: How Bridging The Gap Between Languages Affects Gender Bias in Zero-Shot Multilingual Translation

Lena Cabrera, Jan Niehues|arXiv (Cornell University)|May 26, 2023

Natural Language Processing Techniques被引用 4

一句话总结

本文研究了语言无关表征与桥接语言选择如何影响零样本多语言神经机器翻译（NMT）中的性别偏见，特别是在保留性别标记语言的语法性别方面。研究发现，语言无关表征可减少零样本翻译中的男性偏见；当使用德语或西班牙语等高度性别标记的桥接语言时，通过中间语言的转换方法在保留说话者相关性别一致方面比零样本翻译更公平。

ABSTRACT

Neural machine translation (NMT) models often suffer from gender biases that harm users and society at large. In this work, we explore how bridging the gap between languages for which parallel data is not available affects gender bias in multilingual NMT, specifically for zero-shot directions. We evaluate translation between grammatical gender languages which requires preserving the inherent gender information from the source in the target language. We study the effect of encouraging language-agnostic hidden representations on models' ability to preserve gender and compare pivot-based and zero-shot translation regarding the influence of the bridge language (participating in all language pairs during training) on gender preservation. We find that language-agnostic representations mitigate zero-shot models' masculine bias, and with increased levels of gender inflection in the bridge language, pivoting surpasses zero-shot translation regarding fairer gender preservation for speaker-related gender agreement.

研究动机与目标

• 研究在多语言NMT中通过桥接未见语言对如何影响性别偏见，尤其关注语法性别保留问题。
• 比较零样本翻译与基于桥接语言的翻译在未见语言对上的性别保留公平性。
• 评估桥接语言的性别标记程度对两种翻译方法中性别偏见的影响。
• 评估通过语言无关表征提升翻译质量是否能减少零样本模型中的性别偏见。

提出的方法

• 本研究使用通过技术手段鼓励语言无关隐藏表征的多语言神经机器翻译（MNMT）模型进行微调。
• 评估未见语言对的零样本翻译（直接跨语言迁移）与基于桥接语言的翻译（使用中间桥接语言）两种方法。
• 将桥接语言在英语（低性别标记）、西班牙语和德语（高性别标记）之间切换，以评估其对性别偏见的影响。
• 通过标注参考翻译中指代性别与语法性别的方式评估性别保留，重点关注目标语言中代词的一致性。
• 应用三种模型改进方法以增强语言无关表征：对抗训练、对比学习与解耦表示学习。
• 评估指标聚焦于通过比较翻译输出中男性与女性性别保留率来衡量性别偏见。

(a) Illustration of the translation between grammatical gender languages (Italian $\leftrightarrow$ French) examined in this work; here, for Italian $\rightarrow$ French translation of the utterance “I felt alienated” . Information necessary to disambiguate gender (bold) was always conveyed by the s

实验结果

研究问题

• RQ1 RQ1：在零样本方向上，零样本翻译与基于桥接语言的翻译在性别偏见输出方面有何差异？
• RQ2 RQ2：桥接语言是否影响零样本翻译与基于桥接语言的翻译所延续的性别偏见？
• RQ3 RQ3：零样本模型翻译质量的提升是否能减少其性别偏见？

主要发现

• 当使用英语作为桥接语言时，零样本翻译在保留女性性别方面优于基于桥接语言的翻译，减少了在各类模型与方法中普遍存在的男性偏见。
• 当使用德语或西班牙语等高度性别标记的桥接语言时，基于桥接语言的翻译在实现说话者相关性别一致的更均衡性别保留方面优于零样本翻译。
• 语言无关表征显著减少了零样本模型中的男性偏见，提升了对两种性别的性别保留公平性。
• 三种促进语言无关表征的方法（对抗训练、对比学习、解耦学习）均提升了零样本模型在保留男性与女性性别方面的能力，缩小了性能差距。
• 当通过英语进行桥接时，采用语言无关表征的零样本模型在性别公平性方面优于基于桥接语言的翻译，表明连续表征比离散的桥接方法更能保留性别线索。
• 本研究揭示，桥接语言的语言学特性——尤其是其性别标记程度——在决定多语言翻译中性别保留公平性方面起着关键作用。

(b) The richness of the gender-inflectional system of the bridge language, used to facilitate translation for unseen language pairs, affects models’ ability to preserve the gender information from the source sentence. Scarcity of gender inflection in the bridge language (e.g., English) causes models