[论文解读] Contrastive Learning for Many-to-many Multilingual Neural Machine Translation

Xiao Pan, Mingxuan Wang+2 more|arXiv (Cornell University)|May 20, 2021

Natural Language Processing Techniques参考文献 36被引用 5

一句话总结

该论文提出 mRASP2，一种用于多对多多语言神经机器翻译的对比学习框架，通过对比损失和并行及单语数据的数据增强，提升了跨语言表示对齐。该方法在以英语为中心和非英语翻译方向上均达到最先进性能，在零样本和无监督设置下，平均 BLEU 提升超过 10 分。

ABSTRACT

Existing multilingual machine translation approaches mainly focus on English-centric directions, while the non-English directions still lag behind. In this work, we aim to build a many-to-many translation system with an emphasis on the quality of non-English language directions. Our intuition is based on the hypothesis that a universal cross-language representation leads to better multilingual translation performance. To this end, we propose mRASP2, a training method to obtain a single unified multilingual translation model. mRASP2 is empowered by two techniques: a) a contrastive learning scheme to close the gap among representations of different languages, and b) data augmentation on both multiple parallel and monolingual data to further align token representations. For English-centric directions, mRASP2 outperforms existing best unified model and achieves competitive or even better performance than the pre-trained and fine-tuned model mBART on tens of WMT's translation directions. For non-English directions, mRASP2 achieves an improvement of average 10+ BLEU compared with the multilingual Transformer baseline. Code, data and trained models are available at https://github.com/PANXiao1994/mRASP2.

研究动机与目标

• 为缩小多语言 NMT 中不同语言之间的表示差距，以改善所有语言对之间的知识迁移。
• 提升非英语方向的翻译质量，这些方向在现有多语言系统中通常表现不佳。
• 开发一个统一的多对多多语言模型，使其在所有语言对上表现良好，而不仅限于以英语为中心的模型。
• 通过对齐的数据增强，有效利用并行和单语数据，以增强表示学习。
• 与 mBART 等强大多语言模型相比，在零样本和无监督翻译中实现具有竞争力或更优的性能。

提出的方法

• mRASP2 采用一种对比学习方案，最小化并行句子对（正样本对）表示之间的距离，同时最大化非并行对（负样本对）之间的距离。
• 模型采用具有 12 层编码器和解码器的多语言 Transformer，通过层归一化和预归一化残差连接提升训练稳定性。
• 在每个句子前加入语言标识符 token，以支持多语言输入和输出。
• 通过使用同义词词典将词语替换为同义词，对并行和单语语料库应用对齐的数据增强，生成伪并行或伪自平行样本。
• 框架通过组合损失统一训练真实并行数据和增强的伪对：标准交叉熵损失和对比损失。
• 在对齐和非对齐句子对的编码器表示上应用对比学习，以促进跨语言的语义一致性。

实验结果

研究问题

• RQ1 对比学习能否有效缩小多语言 NMT 模型中不同语言之间的表示差距？
• RQ2 在并行和单语语料库上应用数据增强是否能提升多语言翻译性能，尤其是在低资源或非英语方向上？
• RQ3 单一统一模型是否能在不依赖桥梁方法的前提下，实现对以英语为中心和非英语翻译方向的竞争力表现？
• RQ4 在多对多多语言设置中，对比学习在多大程度上提升了零样本和无监督翻译性能？
• RQ5 mRASP2 在多样化的 WMT 翻译基准上与 mBART 等强大多语言模型相比表现如何？

主要发现

• 在以英语为中心的方向上，mRASP2 在 20 个 WMT 翻译方向上优于多语言 Transformer 基线模型，并在 10 个 WMT 基准上达到与 mBART 竞争或更优的结果。
• 在非英语方向上，mRASP2 相较于多语言 Transformer 基线模型平均提升超过 10 BLEU 分。
• 在零样本和无监督翻译中，mRASP2 在 36 个翻译方向上均取得优异结果，相较基线平均 BLEU 提升超过 10 分。
• 该模型在所有语言对上均表现出一致的性能提升，表明实现了有效的跨语言知识迁移。
• 可视化结果表明，对比学习成功缩小了共享嵌入空间中不同语言之间的表示差距。
• 对比学习与对齐数据增强的结合，产生了更鲁棒且泛化能力更强的多语言表示。