[论文解读] Improving Gender Translation Accuracy with Filtered Self-Training

Prafulla Kumar Choubey, Anna Currey+2 more|arXiv (Cornell University)|Apr 15, 2021

Natural Language Processing Techniques参考文献 43被引用 11

一句话总结

本文提出性别过滤的自训练方法，以提升神经机器翻译中的性别翻译准确性，利用单语语料库生成并过滤性别特定的伪平行数据。该方法在不损害整体翻译质量的前提下，显著提升了女性和男性性别表达的翻译准确性，在五个语言对中均取得显著改进。

ABSTRACT

Targeted evaluations have found that machine translation systems often output incorrect gender, even when the gender is clear from context. Furthermore, these incorrectly gendered translations have the potential to reflect or amplify social biases. We propose a gender-filtered self-training technique to improve gender translation accuracy on unambiguously gendered inputs. This approach uses a source monolingual corpus and an initial model to generate gender-specific pseudo-parallel corpora which are then added to the training data. We filter the gender-specific corpora on the source and target sides to ensure that sentence pairs contain and correctly translate the specified gender. We evaluate our approach on translation from English into five languages, finding that our models improve gender translation accuracy without any cost to generic translation quality. In addition, we show the viability of our approach on several settings, including re-training from scratch, fine-tuning, controlling the balance of the training data, forward translation, and back-translation.

研究动机与目标

• 解决神经机器翻译中的性别偏见，特别是对女性和男性性别表达输入的性能不足问题。
• 缓解训练数据中的选择偏见，即男性指代物在数据中相对于女性指代物的过度代表。
• 在不降低整体翻译质量的前提下，提升对明确性别标记输入的性别翻译准确性。
• 开发一种可扩展、可适应的方法，适用于多种语言对和训练范式（例如微调、回译）。

提出的方法

• 利用源语言单语语料库，通过词汇或形态性别标记提取性别特定的句子。
• 使用初始神经机器翻译模型将性别过滤后的单语数据翻译，生成伪平行语料库。
• 应用两阶段过滤过程：首先在源端进行，确保性别标记正确；然后在目标端进行，验证性别翻译的准确性。
• 使用形态标记器检测目标语言（如德语、法语、俄语）中的语法性别，用于过滤。
• 将过滤后的、性别平衡的伪数据与原始训练数据结合，重新训练或微调神经机器翻译模型。
• 通过语言学分析，同时过滤源端和目标端，以最小化错误传播。

实验结果

研究问题

• RQ1 使用单语数据进行自训练是否能提升对明确性别标记输入的性别翻译准确性？
• RQ2 同时过滤源端和目标端是否能减少错误传播并提升性别特定翻译质量？
• RQ3 该方法能否有效应用于多种语言对，包括低资源或高性别标记语言？
• RQ4 添加性别平衡的伪数据是否能在不降低整体翻译质量的前提下，提升对女性和男性输入的性能？
• RQ5 在不同训练模式（如微调或回译）下，该方法的表现如何？

主要发现

• 所提出的方法显著提升了对明确性别标记输入的性别翻译准确性，尤其在代表性不足的女性指代物上表现突出。
• 使用过滤自训练的模型在整体翻译质量无任何下降的情况下，显著提升了性别准确性。
• 仅添加女性特定数据即可实现接近于添加平衡的女性和男性数据的改进效果，表明该方法能有效缓解训练数据中的性别不平衡问题。
• 该方法在五个语言对（en-de, en-fr, en-he, en-it, en-ru）中均表现出良好的泛化能力，证明其广泛适用性。
• 该方法在保持男性输入翻译性能的同时，显著提升了女性输入的翻译准确性，有效降低了翻译中的性别偏见。
• 人工评估证实，改进效果不仅体现在自动指标上，也支持了改进结果的稳健性。