[论文解读] Exploiting Sentential Context for Neural Machine Translation

Xing Wang, Zhaopeng Tu+2 more|arXiv (Cornell University)|Jun 4, 2019

Natural Language Processing Techniques参考文献 33被引用 5

一句话总结

本文提出浅层与深层的句子上下文机制，通过将全局源语言句子表征整合到Transformer解码器中，以增强神经机器翻译性能。通过利用顶层或多层编码器输出构建上下文向量，该模型在英德和英法翻译基准上均提升了翻译表现，其中深层上下文始终优于浅层和基线模型。

ABSTRACT

In this work, we present novel approaches to exploit sentential context for neural machine translation (NMT). Specifically, we first show that a shallow sentential context extracted from the top encoder layer only, can improve translation performance via contextualizing the encoding representations of individual words. Next, we introduce a deep sentential context, which aggregates the sentential context representations from all the internal layers of the encoder to form a more comprehensive context representation. Experimental results on the WMT14 English-to-German and English-to-French benchmarks show that our model consistently improves performance over the strong TRANSFORMER model (Vaswani et al., 2017), demonstrating the necessity and effectiveness of exploiting sentential context for NMT.

研究动机与目标

• 探究在神经机器翻译中引入全局句子上下文的有效性，以提升翻译质量。
• 探索编码器层生成的源语言句子级表征是否能通过提供整体句子理解来增强解码能力。
• 比较浅层（顶层）与深层（多层）句子上下文策略在捕捉更丰富句法与语义信息方面的表现。
• 验证增强的上下文表征是否能带来更优的语言知识编码与翻译性能提升。

提出的方法

• 通过全局池化函数仅汇总顶层编码器层的表征，提出一种浅层句子上下文。
• 提出一种深层句子上下文，通过拼接和前馈网络聚合所有编码器层的句子级表征。
• 通过专用前馈网络将句子上下文向量与解码器各层的隐藏状态拼接，将其集成到解码器中。
• 通过端到端联合优化NMT与上下文表征组件，训练整个模型。
• 采用与基线相同的Transformer架构，仅修改解码器输入以包含上下文向量。
• 在每个解码器层应用上下文注入机制，以确保解码过程中持续访问全局句子信息。

实验结果

研究问题

• RQ1 是否可以通过编码器生成的全局句子上下文向量提升神经机器翻译性能？
• RQ2 仅使用顶层编码器层（浅层上下文）是否能为标准Transformer带来有意义的性能提升？
• RQ3 聚合所有编码器层的表征（深层上下文）是否优于浅层上下文？
• RQ4 所提出的上下文表征在多大程度上增强了编码表征中的语言知识，如句法与语义信息？
• RQ5 句子上下文带来的性能提升是否在不同语言对与翻译任务中保持一致？

主要发现

• 深层句子上下文策略在WMT14英德与英法翻译任务中均取得最高的BLEU分数，优于基线Transformer与浅层上下文模型。
• 在英德翻译任务中，深层上下文模型取得30.76的BLEU分数，超过基线Transformer（30.52）与浅层上下文（30.62）。
• 在英法翻译任务中，深层上下文模型达到37.25的BLEU分数，高于基线模型（37.10）与浅层变体（37.18）。
• 语言学探针任务显示，深层句子上下文显著提升了语义探针任务表现（75.32 vs. 74.61），表明其编码了更优的语义信息。
• 浅层上下文仅在语义任务中表现提升（75.33 vs. 74.61），表明其更侧重于捕捉语义内容而非表层或句法特征。
• 深层上下文表征在所有探针类别中达到最高平均准确率（75.32），证实其相比浅层与基线模型具备更丰富的语言表征能力。