[论文解读] Code-switching pre-training for neural machine translation

Zhen Yang, Bojie Hu+3 more|arXiv (Cornell University)|Sep 17, 2020

Natural Language Processing Techniques参考文献 34被引用 4

一句话总结

本文提出了一种名为代码切换预训练（CSP）的新颖预训练方法，用于神经机器翻译（NMT），通过使用无监督词嵌入映射，随机将源语言词汇替换为其目标语言翻译，从而增强跨语言对齐。CSP 显著提升了有监督和无监督 NMT 的性能，并能更好地处理代码切换输入，在内部测试集上分别比多语言基线模型高出 +2.3 和 +3.0 BLEU 点。

ABSTRACT

This paper proposes a new pre-training method, called Code-Switching Pre-training (CSP for short) for Neural Machine Translation (NMT). Unlike traditional pre-training method which randomly masks some fragments of the input sentence, the proposed CSP randomly replaces some words in the source sentence with their translation words in the target language. Specifically, we firstly perform lexicon induction with unsupervised word embedding mapping between the source and target languages, and then randomly replace some words in the input sentence with their translation words according to the extracted translation lexicons. CSP adopts the encoder-decoder framework: its encoder takes the code-mixed sentence as input, and its decoder predicts the replaced fragment of the input sentence. In this way, CSP is able to pre-train the NMT model by explicitly making the most of the cross-lingual alignment information extracted from the source and target monolingual corpus. Additionally, we relieve the pretrain-finetune discrepancy caused by the artificial symbols like [mask]. To verify the effectiveness of the proposed method, we conduct extensive experiments on unsupervised and supervised NMT. Experimental results show that CSP achieves significant improvements over baselines without pre-training or with other pre-training methods.

研究动机与目标

• 解决现有预训练方法中使用 [mask] 等人工标记所导致的预训练-微调差异问题。
• 利用单语语料中的跨语言对齐信号，改进 NMT 的预训练过程。
• 开发一种可投入生产的预训练方法，保持标准 NMT 模型架构与参数规模。
• 提升 NMT 模型在代码切换输入上的表现，此类输入在真实多语言场景中十分常见。
• 减少对模型融合或大规模预训练编码器的依赖，从而降低推理成本。

提出的方法

• 在源语言与目标语言之间执行无监督词嵌入映射，以构建双语词典。
• 从所构建的词典中，随机将源句中的词汇替换为其目标语言翻译，生成混合语言输入。
• 训练一个编码器-解码器模型，其中编码器处理混合语言句子，解码器则预测原始的源语言词汇。
• 在被替换的片段上使用掩码语言建模目标，使模型能够同时学习句子级表征与跨语言对齐。
• 在单语源语料和目标语料上，使用该目标对 NMT 模型进行预训练，无需平行语料。
• 在标准 NMT 任务上对预训练模型进行微调，可选择性地使用回译技术。

实验结果

研究问题

• RQ1 代码切换预训练是否能通过显式利用单语数据中的跨语言词对对齐信号，有效提升 NMT 性能？
• RQ2 与使用 [mask] 等人工标记的方法相比，CSP 是否能有效缓解预训练-微调差异？
• RQ3 预训练后的 NMT 模型是否能比标准模型或多语言模型更有效地处理代码切换输入？
• RQ4 NMT 模型中的哪些组件在 CSP 预训练后受益最大？
• RQ5 在有监督和无监督翻译设置下，CSP 与现有预训练方法相比表现如何？

主要发现

• 在英德翻译任务中，CSP 达到 28.9 BLEU 的得分，优于无预训练基线（28.4）及其他预训练方法。
• 在英法翻译任务中，CSP 达到 38.8 BLEU，超过基线（38.5）及其他预训练基线。
• 在内部代码切换测试集上，CSP 分别在测试集 A 和测试集 B 上比多语言基线高出 +2.3 和 +3.0 BLEU 点。
• 消融实验表明，预训练的编码器和注意力模块是最重要的组件，而预训练的解码器影响较小，原因在于预训练-微调不匹配。
• 该方法能有效处理代码切换输入，展现出对真实世界中常见混合语言输入模式的鲁棒性。
• CSP 保持了模型结构与参数规模，无需模型融合或额外推理开销，因此具备生产可用性。