[论文解读] Improved English to Russian Translation by Neural Suffix Prediction

Kai Song, Yue Zhang+2 more|arXiv (Cornell University)|Jan 11, 2018

Natural Language Processing Techniques参考文献 21被引用 3

一句话总结

本文提出了一种神经后缀预测方法，通过在解码过程中解耦词干和后缀的生成，显著减少了在词形丰富的语言（如俄语）中出现的未登录词（OOV）问题。该方法通过显式建模词干和后缀，实现了相比基线方法最高达1.98的BLEU提升，且在新闻和电商领域中，对RNN与Transformer架构均表现出一致的性能增益。

ABSTRACT

Neural machine translation (NMT) suffers a performance deficiency when a limited vocabulary fails to cover the source or target side adequately, which happens frequently when dealing with morphologically rich languages. To address this problem, previous work focused on adjusting translation granularity or expanding the vocabulary size. However, morphological information is relatively under-considered in NMT architectures, which may further improve translation quality. We propose a novel method, which can not only reduce data sparsity but also model morphology through a simple but effective mechanism. By predicting the stem and suffix separately during decoding, our system achieves an improvement of up to 1.98 BLEU compared with previous work on English to Russian translation. Our method is orthogonal to different NMT architectures and stably gains improvements on various domains.

研究动机与目标

• 解决神经机器翻译（NMT）中在词形丰富的语言（如俄语）中未登录词（OOV）的问题。
• 通过分别建模词干和后缀，减少目标侧词汇表的数据稀疏性，利用词干类型远少于词类型的事实。
• 通过显式建模词形结构（尤其是后缀）而非将子词单元或字符视为不透明单元，提升翻译质量。
• 开发一种与现有NMT架构正交的方法，在不同领域和模型类型中均能持续提升性能。
• 在大规模语料（包括5000万句的电商语料）上验证其可扩展性和鲁棒性。

提出的方法

• 将目标侧的词生成分解为两个阶段：首先预测词干，然后利用先前生成的词干作为上下文预测后缀。
• 从原始目标句中构建两条训练序列：一条为词干序列，一条为后缀序列，其中“N”表示无后缀。
• 对词干序列应用字节对编码（BPE），构建子词干词汇表，以减少稀疏性，同时保留词形单位。
• 训练一个序列到序列模型，解码器先生成词干，再利用词干上下文预测后缀，从而提升后缀预测的准确性。
• 将两阶段解码机制无缝集成到基于RNN和Transformer的NMT架构中，无需对网络结构进行大规模修改。
• 采用参数平均的分布式训练策略，以处理大规模电商语料（5000万句）。

实验结果

研究问题

• RQ1 在词形丰富的语言（如俄语）中，显式建模词干和后缀是否能提升翻译质量？
• RQ2 与子词或字符级基线相比，分离词干和后缀预测是否能有效降低数据稀疏性和OOV率？
• RQ3 所提方法在不同NMT架构和领域中，对BLEU分数的提升程度如何？
• RQ4 该方法是否能在大规模真实世界语料（如电商语料）上保持性能增益？
• RQ5 在处理语法词形变化时，该模型的后缀预测准确率与子词和字符基线相比如何？

主要发现

• 在基于RNN的NMT模型上，新闻领域中该方法相比子词方法平均提升1.75 BLEU，相比完全基于字符的方法提升0.97 BLEU。
• 在Transformer架构上，新闻领域中该方法相比子词基线提升1.47 BLEU。
• 在大规模电商领域（5000万句）中，该方法相比子词基线提升0.68 BLEU。
• 系统实现了100%的目标侧词汇覆盖率，彻底消除了OOV问题，同时源侧覆盖率与基线保持一致。
• 词干预测准确率显著高于基线，后缀预测错误率也得到有效降低，如定性分析所示，正确标记了时态、格和体等语法信息。
• 该方法成功纠正了子词和字符基线中持续存在的词形错误（如错误的反身代词或复数形式），如案例研究所示。