[论文解读] Subword Segmentation and a Single Bridge Language Affect Zero-Shot Neural Machine Translation

Annette Rios, Mathias Müller+1 more|arXiv (Cornell University)|Nov 3, 2020

Natural Language Processing Techniques参考文献 16被引用 6

一句话总结

本文研究了多语言模型中的零样本神经机器翻译，表明语言特定的子词分词和多桥训练（使用非英语平行数据）可显著提升性能。通过减少英语偏见和子词复制，该方法在零样本方向上实现了最高达8.1 BLEU的提升，最佳效果通过多桥数据和回译微调实现。

ABSTRACT

Zero-shot neural machine translation is an attractive goal because of the high cost of obtaining data and building translation systems for new translation directions. However, previous papers have reported mixed success in zero-shot translation. It is hard to predict in which settings it will be effective, and what limits performance compared to a fully supervised system. In this paper, we investigate zero-shot performance of a multilingual EN$\leftrightarrow${FR,CS,DE,FI} system trained on WMT data. We find that zero-shot performance is highly unstable and can vary by more than 6 BLEU between training runs, making it difficult to reliably track improvements. We observe a bias towards copying the source in zero-shot translation, and investigate how the choice of subword segmentation affects this bias. We find that language-specific subword segmentation results in less subword copying at training time, and leads to better zero-shot performance compared to jointly trained segmentation. A recent trend in multilingual models is to not train on parallel data between all language pairs, but have a single bridge language, e.g. English. We find that this negatively affects zero-shot translation and leads to a failure mode where the model ignores the language tag and instead produces English output in zero-shot directions. We show that this bias towards English can be effectively reduced with even a small amount of parallel data in some of the non-English pairs.

研究动机与目标

• 研究多语言模型中零样本神经机器翻译的不稳定性与性能波动问题。
• 分析子词分词策略对子词复制和零样本翻译质量的影响。
• 评估将英语作为唯一桥接语言对零样本翻译失败模式的影响。
• 探索添加少量非英语平行数据是否能缓解英语偏见并提升零样本泛化能力。
• 识别无需架构改动的、基于数据和预处理的简单改进方法，以提升零样本性能。

提出的方法

• 在WMT数据上训练共享参数的多语言NMT模型，并为EN ↔ {FR, CS, DE, FI}使用语言特定的目标标记。
• 比较语言特定的BPE分词与联合训练的BPE，以减少子词复制并提升零样本性能。
• 通过引入少量非英语平行数据（如CS↔DE、FR↔FI）实现多桥训练，以减少英语中心化偏见。
• 在零资源测试集上应用回译和基于耐心机制的早停策略进行微调。
• 使用结合交叉熵与余弦距离的混合损失函数，对齐跨语言的编码器表示。
• 通过同时应用回译和编码器对齐进行微调，评估在零样本方向上的累积性能提升。

实验结果

研究问题

• RQ1 子词分词策略（联合训练 vs. 语言特定）如何影响子词复制和零样本翻译质量？
• RQ2 为何以英语为中心的多语言建模会导致零样本翻译中的失败模式，例如对非英语输入生成英语输出？
• RQ3 添加少量非英语平行数据是否能缓解零样本翻译中的英语偏见？
• RQ4 回译和编码器对齐在多语言NMT中对零样本性能的提升程度如何？
• RQ5 为何零样本翻译性能在不同训练运行和检查点之间表现出高度不稳定性？

主要发现

• 零样本翻译性能在不同训练运行之间波动超过6 BLEU，表明存在高度不稳定性，亟需严格的评估。
• 语言特定的子词分词可减少训练过程中的子词复制，并相比联合训练的BPE将零样本BLEU提升最高达8.1分。
• 以英语为中心的模型在零样本方向表现出强烈的倾向，即使输入为其他语言，也倾向于生成英语输出。
• 即使添加少量非英语平行数据（如CS↔DE、FR↔FI），也能显著减少英语偏见并提升零样本性能。
• 回译和编码器对齐带来累积性能提升，最佳系统在6个零样本方向上达到25.2 BLEU，较基线拼接模型提升1.5 BLEU。
• 多桥数据与回译微调的结合实现了最高性能，优于单桥和基线系统。