[论文解读] A Survey of Methods to Leverage Monolingual Data in Low-resource Neural Machine Translation

Ilshat Gibadullin, Aidar Valeev+2 more|arXiv (Cornell University)|Oct 1, 2019

Natural Language Processing Techniques参考文献 24被引用 12

一句话总结

本综述对低资源神经机器翻译中利用单语数据的方法进行了分类与评估，区分了架构无关方法（如回译、往返训练）与架构相关方法（如输入重排、预训练）。研究发现，架构无关方法，尤其是往返训练和回译，在大规模平行语料上实现了 +4.7 BLEU 的提升；而架构相关方法如输入重排则实现了 +4.3 BLEU 的提升，表明即使在平行数据有限的情况下也能取得显著性能增益。

ABSTRACT

Neural machine translation has become the state-of-the-art for language pairs with large parallel corpora. However, the quality of machine translation for low-resource languages leaves much to be desired. There are several approaches to mitigate this problem, such as transfer learning, semi-supervised and unsupervised learning techniques. In this paper, we review the existing methods, where the main idea is to exploit the power of monolingual data, which, compared to parallel, is usually easier to obtain and significantly greater in amount.

研究动机与目标

• 为解决因平行训练数据不足而导致的低资源语言对翻译质量差的问题。
• 系统性地对现有利用单语数据改进神经机器翻译的方法进行分类。
• 比较架构无关与架构相关方法在提升翻译性能方面的有效性。
• 识别关于单语数据最优使用方式、领域对齐及跨领域数据整合的开放研究问题。

提出的方法

• 根据模型兼容性与架构修改情况，将单语数据利用方法划分为架构无关与架构相关两类。
• 评估架构无关方法，如回译、往返训练与浅层融合，这些方法通过生成合成平行数据或结合预训练模型来提升性能。
• 分析架构相关技术，如输入句序重排、参数冻结的前向翻译，以及使用单语数据对神经机器翻译模型进行预训练。
• 将语言建模与多任务学习整合到神经机器翻译架构中，以提升泛化能力与鲁棒性。
• 使用 BLEU 分数对不同平行数据规模与单语数据策略下的模型性能进行定量比较。
• 在图 1 中提出方法的分类体系，以可视化呈现各类技术之间的关系与核心思想。

实验结果

研究问题

• RQ1 如何有效利用单语数据以提升低资源环境下的翻译质量？
• RQ2 在与有限平行数据结合时，单语数据的最佳比例与领域对齐方式是什么？
• RQ3 在不同规模的平行数据下，架构无关与架构相关方法在性能增益方面如何比较？
• RQ4 在低资源神经机器翻译中，单语数据最有效的领域自适应技术是什么？
• RQ5 如何在不降低翻译质量的前提下利用跨领域单语数据？

主要发现

• 在超过 300K 组平行句对上训练时，往返训练相比基线模型实现了 +4.7 BLEU 的性能提升。
• 使用 300K 平行句对进行回译，实现了 +2.7 BLEU 的性能提升，优于在更小规模平行语料上训练的基线模型。
• 在 620K 平行数据集上，输入句序重排实现了最高的 +4.3 BLEU 提升，表明其在大规模低资源设置下表现优异。
• 仅使用 20K 平行句对对 Transformer 模型进行单语数据预训练，性能提升了 +1.4 BLEU，凸显其在低资源场景下的有效性。
• 架构相关方法如前向翻译与深度融合分别实现了 +3.2 和 +1.19 BLEU 的性能提升，表明其在小规模平行数据集上具有显著增益。
• 将独立语言模型与神经机器翻译模型结合的方法仅带来有限增益，表明将语言建模机制深度集成到神经机器翻译架构中能获得更优结果。