[论文解读] Incorporating Word and Subword Units in Unsupervised Machine Translation Using Language Model Rescoring

Zihan Liu, Yan Xu+2 more|arXiv (Cornell University)|Aug 16, 2019

Natural Language Processing Techniques参考文献 26被引用 6

一句话总结

本文提出一种在无监督神经机器翻译中结合词级别与子词级别表征的方法，针对德语和捷克语等形态丰富的语言，利用MUSE对齐嵌入和语言模型重打分。该方法在WMT'19共享任务中将翻译质量提升10.6 BLEU，主要得益于未知词替换和重打分技术，且无需平行语料。

ABSTRACT

This paper describes CAiRE's submission to the unsupervised machine translation track of the WMT'19 news shared task from German to Czech. We leverage a phrase-based statistical machine translation (PBSMT) model and a pre-trained language model to combine word-level neural machine translation (NMT) and subword-level NMT models without using any parallel data. We propose to solve the morphological richness problem of languages by training byte-pair encoding (BPE) embeddings for German and Czech separately, and they are aligned using MUSE (Conneau et al., 2018). To ensure the fluency and consistency of translations, a rescoring mechanism is proposed that reuses the pre-trained language model to select the translation candidates generated through beam search. Moreover, a series of pre-processing and post-processing approaches are applied to improve the quality of final translations.

研究动机与目标

• 解决无监督神经机器翻译中形态丰富语言（如德语和捷克语）的未登录词（OOV）问题。
• 通过在无平行语料条件下整合词级别与子词级别表征，提升翻译流畅性与一致性。
• 通过利用短语基于SMT生成的伪平行语料和反向翻译，降低对平行语料的依赖。
• 通过预处理、后处理和基于语言模型的重打分，提升翻译质量。
• 评估在无监督设置下未知词替换与语言模型重打分的有效性。

提出的方法

• 为德语和捷克语分别训练FastText词嵌入，然后使用MUSE将其对齐至共享空间，以减少OOV问题。
• 使用去噪自编码器语言模型，在噪声句子上最小化重建损失，以提升句子级流畅性。
• 使用短语基于SMT模型进行反向翻译，生成伪平行语料，同时微调词级别与子词级别NMT模型。
• 实施未知词替换（UWR），将词级别NMT输出中的OOV标记替换为合理的目标端对应项。
• 使用微调后的预训练捷克语语言模型对束搜索候选进行重打分，以选择最流畅且一致的翻译结果。
• 构建词级别与子词级别NMT模型的集成模型，进一步通过修补后处理步骤进行优化。

实验结果

研究问题

• RQ1 结合词级别与子词级别表征是否能提升形态丰富语言在无监督翻译中的表现？
• RQ2 语言模型重打分在从束搜索中选择更高质量翻译候选方面有多有效？
• RQ3 未知词替换在多大程度上缓解了词级别无监督NMT中的OOV问题？
• RQ4 使用MUSE对齐的跨语言嵌入是否能改善无监督NMT中的初始化与性能？
• RQ5 结合预处理、后处理与重打分是否能显著提升BLEU分数而无需平行语料？

主要发现

• 在基线设置下，子词级别NMT模型比词级别模型高出约1.5 BLEU点。
• 对词级别NMT模型应用未知词替换后，BLEU分数提升了约2.2点，达到10.1 BLEU。
• 语言模型重打分使词级别NMT模型提升了0.3 BLEU点，且在UWR与微调后进一步提升。
• 最佳词级别与子词级别NMT模型的集成模型在WMT'19测试集上达到最高BLEU分数10.6。
• 通过修补后处理步骤，集成模型的BLEU略微提升至10.6，TER从0.829降至0.833，表明一致性得到改善。
• 最终系统在大小写敏感评估中达到10.2 BLEU，证明在无平行语料条件下对形态复杂语言对具有强大性能。