[论文解读] Neural Machine Translation Doesn't Translate Gender Coreference Right Unless You Make It
论文研究在 NMT 中对逐字级别的性别格形标记以提高翻译中的性别屈折准确性,结果表明核心指代感知标记(V3/V4)减少过度泛化并提高准确性,包括中性性别情景。
Neural Machine Translation (NMT) has been shown to struggle with grammatical gender that is dependent on the gender of human referents, which can cause gender bias effects. Many existing approaches to this problem seek to control gender inflection in the target language by explicitly or implicitly adding a gender feature to the source sentence, usually at the sentence level. In this paper we propose schemes for incorporating explicit word-level gender inflection tags into NMT. We explore the potential of this gender-inflection controlled translation when the gender feature can be determined from a human reference, or when a test sentence can be automatically gender-tagged, assessing on English-to-Spanish and English-to-German translation. We find that simple existing approaches can over-generalize a gender-feature to multiple entities in a sentence, and suggest effective alternatives in the form of tagged coreference adaptation data. We also propose an extension to assess translations of gender-neutral entities from English given a corresponding linguistic convention, such as a non-binary inflection, in the target language.
研究动机与目标
- 动机并量化在将具有语法性别的语言中的性别依赖核心指代翻译时 NMT 的性别偏见。
- 提出显式的词级性别屈折标签以控制目标语言的性别屈折。
- 在 English→Spanish 与 English→German 上评估带标签的自适应方案,涵盖二元与中性(非二元)情景。
- 评估标签是否可以自动标注,并探索用于性别中性语言的中性增强翻译集。
提出的方法
- 在对目标词附带显式性别标签的小型合成数据集上微调 Transformer NMT 模型。
- 使用带性别替代的网格重评分来约束翻译为性别屈折,同时保持BLEU。
- 使用基于 WinoMT 的评估指标,聚焦主实体和次要实体的屈折(L2),以检测过度泛化。
- 结合 RoBERTa 基于的自动标注以测试自动标注的可行性。
- 用中性增强集扩展自适应数据,以模拟目标语言中的性别中性屈折。
实验结果
研究问题
- RQ1显式的词级性别标签能否在涉及核心指代的句子中控制目标语言翻译的语法性别屈折?
- RQ2简单的标注方案是否会在句子中的多个实体之间造成过度泛化?
- RQ3带标签的核心指代自适应方法(多实体训练)在降低过度泛化方面是否比单实体标注更有效?
- RQ4该方法能否处理具有合成中性屈折的性别中性(非二元)指称?
- RQ5相较于人工标注,基于 RoBERTa 的自动标注在识别测试数据中的性别信号方面表现如何?
主要发现
- 简单的性别信号往往会对多个实体进行过度泛化,降低次要指称的翻译质量。
- V3 (带标签的多实体自适应) 取得最大收益:en-de 准确度提升 17%,en-es 提升 30%,且 ΔL2 增量较小,表明过度泛化减少。
- V1 与 V2 显示较大的 ΔL2,意味着对未标注实体的更强泛化。
- 自动标注的 WinoMT 句子达到与参考标注句子相当的准确性,RoBERTa 预测与人工标签的一致率为 84%。
- 在中性(性别中性)实验中,主实体的准确性随标注而提高(在 en-es 的 V4 方案中最好达到 56.5%),而次要实体的屈折随方案不同而呈现不同的 ΔL2。
阅读本论文
在 Nubint 阅读器中打开原文,边读边就任意段落提问。
在 Nubint 中阅读本论文本解读由 AI 根据论文原文生成,引用前请核对原文。