[论文解读] Character-Aware Decoder for Neural Machine Translation

Adithya Renduchintala, Pamela Shapiro+2 more|arXiv (Cornell University)|Sep 6, 2018

Natural Language Processing Techniques参考文献 21被引用 4

一句话总结

本文提出了一种用于神经机器翻译的字符感知解码器，通过在softmax层和嵌入层中整合卷积神经网络（CNNs）来捕捉词素模式，从而增强词级和子词级建模。在低资源设置下，通过在目标端结合字符感知嵌入和标准嵌入，并对大规模词汇表使用近似softmax，该方法在14种语言类型多样的语言中实现了高达+3.37的BLEU分数提升。

ABSTRACT

Standard neural machine translation (NMT) systems operate primarily on words, ignoring lower-level patterns of morphology. We present a character-aware decoder for NMT that can simultaneously work with both word-level and subword-level sequences which is designed to capture such patterns. We achieve character-awareness by augmenting both the softmax and embedding layers of an attention-based encoder-decoder network with convolutional neural networks that operate on spelling of a word (or subword). While character-aware embeddings have been successfully used in the source-side, we find that mixing character-aware embeddings with standard embeddings is crucial in the target-side. Furthermore, we show that a simple approximate softmax layer can be used for large target-side vocabularies which would otherwise require prohibitively large memory. We experiment on the TED multi-target dataset, translating English into 14 typologically diverse languages. We find that in this low-resource setting, the character-aware decoder provides consistent improvements over word-level and subword-level counterparts with BLEU score gains of up to +3.37.

研究动机与目标

• 解决标准NMT模型仅作用于词而忽略词素模式的局限性。
• 通过将字符级信息整合到目标端解码器中，改进低资源神经机器翻译。
• 通过近似softmax层降低大规模词汇表翻译任务中的内存消耗。
• 证明在目标端结合字符感知嵌入与标准嵌入可实现更好的泛化性能。

提出的方法

• 在嵌入层和softmax层中引入处理词或子词字符序列的CNN，增强基于注意力的编码器-解码器架构。
• 在目标端将字符感知嵌入与标准词嵌入结合，以改进对词形变化的建模。
• 使用字符级CNN从每个目标词或子词的拼写中生成上下文感知表示。
• 应用近似softmax层以高效处理大规模目标端词汇表，降低内存需求。
• 在TED多目标数据集上端到端训练模型，将英语翻译为14种多样化语言。
• 使用标准NMT目标函数（交叉熵损失）和束搜索解码进行模型优化。

实验结果

研究问题

• RQ1 在低资源设置下，解码器中的字符感知建模是否能提升翻译性能？
• RQ2 在目标端结合字符感知嵌入与标准嵌入对翻译质量有何影响？
• RQ3 使用近似softmax层是否能在降低内存使用的同时保持性能？
• RQ4 该字符感知解码器在语言类型多样的语言中效果如何？
• RQ5 字符级建模对形态丰富的语言在神经机器翻译中的影响是什么？

主要发现

• 该字符感知解码器在14种多样化语言中，相对于词级和子词级基线模型，均实现了稳定的BLEU分数提升。
• 在低资源设置下，模型BLEU分数最高提升+3.37，表明其在不同语系间具有强大的泛化能力。
• 在目标端结合字符感知嵌入与标准嵌入可带来最显著的性能提升。
• 近似softmax层有效降低了内存使用，且未损害大规模词汇表上的翻译质量。
• 该方法对形态丰富的语言尤其有效，字符级建模相比词级模型能更好地捕捉屈折变化模式。