[论文解读] Context Models for OOV Word Translation in Low-Resource Languages

Angli Liu, Katrin Kirchhoff|arXiv (Cornell University)|Jan 26, 2018

Natural Language Processing Techniques参考文献 23被引用 4

一句话总结

本文提出使用宽上下文目标语言神经语言模型来解决低资源机器翻译中未登录词（OOV）的翻译歧义问题。通过利用文档级上下文对翻译格栅进行重打分，该方法在五组六组低资源语言对中，相较于训练数据增强和最先进神经机器翻译系统，均实现了稳定的性能提升。

ABSTRACT

Out-of-vocabulary word translation is a major problem for the translation of low-resource languages that suffer from a lack of parallel training data. This paper evaluates the contributions of target-language context models towards the translation of OOV words, specifically in those cases where OOV translations are derived from external knowledge sources, such as dictionaries. We develop both neural and non-neural context models and evaluate them within both phrase-based and self-attention based neural machine translation systems. Our results show that neural language models that integrate additional context beyond the current sentence are the most effective in disambiguating possible OOV word translations. We present an efficient second-pass lattice-rescoring method for wide-context neural language models and demonstrate performance improvements over state-of-the-art self-attention based neural MT systems in five out of six low-resource language pairs.

研究动机与目标

• 解决在平行训练数据极度有限的低资源语言中翻译未登录词的挑战。
• 解决当从字典等外部知识源派生出多个候选翻译时的翻译歧义问题。
• 通过利用当前句子之外的上下文信息，特别是文档级上下文，提升翻译质量。
• 开发一种高效的格栅重打分方法，将宽上下文神经语言模型集成到神经机器翻译系统中。
• 证明上下文感知模型在低资源设置下优于直接使用外部翻译进行数据增强。

提出的方法

• 使用目标语言单语数据训练神经和非神经上下文模型，以捕捉句子级和文档级上下文。
• 将包含前序句子的宽上下文语言模型集成到神经机器翻译输出的第二轮格栅重打分步骤中。
• 使用注意力机制对多个前序句子进行建模，以捕捉长距离依赖关系，实现歧义消解。
• 使用 fastAlign 对短语基于机器翻译（PBMT）和基于 Transformer 的神经机器翻译系统输出进行对齐，生成用于重打分的联合格栅。
• 利用上下文模型对格栅进行重打分，为未登录词选择最佳翻译，将模糊候选替换为更符合上下文的翻译。
• 将该方法与使用外部翻译进行训练数据增强及基于 oracle 的上限性能进行对比。

实验结果

研究问题

• RQ1 与句子级或无上下文相比，宽上下文目标语言模型在消解多个未登录词翻译候选方面效果如何？
• RQ2 在低资源设置下，具有文档级上下文的神经语言模型是否能显著提升未登录词翻译性能？
• RQ3 使用上下文模型的格栅重打分是否优于简单地将外部翻译添加到训练数据中？
• RQ4 上下文感知模型在不同低资源语言对中的性能表现如何？
• RQ5 所提方法是否能在包括短语基于和自注意力机制在内的多种神经机器翻译架构中实现一致的性能提升？

主要发现

• 包含前序句子上下文的文档级神经语言模型优于所有其他上下文模型，包括句子级和非神经模型。
• 所提出的结合宽上下文神经模型的格栅重打分方法，在六组低资源语言对中的五组上，均显著优于使用外部翻译进行数据增强的方法。
• 在阿姆哈拉语（amh）和约鲁巴语（yor）语言对中，与数据增强基线相比，该方法分别将 BLEU 分数提升了 2.46 和 1.36 分。
• 对于越南语（vie），该方法在数据增强训练基础上实现了 2.10 的 BLEU 分数提升，达到 27.25 的 BLEU 分数。
• 将 PBMT 和 Transformer 输出进行系统组合，并对未登录词进行重打分，使越南语的性能接近 oracle 上限，达到 58.5 的 unigram 精确率。
• 该方法在多种低资源语言对中表现出鲁棒性，尤其在阿姆哈拉语和约鲁巴语等形态丰富且资源稀缺的语言中取得了最显著的性能提升。