[论文解读] Document-Level Neural Machine Translation with Hierarchical Attention Networks

Lesly Miculicich, Dhananjay Ram+2 more|arXiv (Cornell University)|Sep 5, 2018

Natural Language Processing Techniques被引用 6

一句话总结

该论文提出了一种集成到基于Transformer的神经机器翻译（NMT）模型中的分层多头注意力网络（HAN），以从源端和目标端捕获文档级上下文。通过动态关注先前翻译中的相关词和句子，该模型显著提升了翻译质量，在多个基准测试中实现了SOTA结果，BLEU、词汇连贯性和连贯性均有提升，尤其在代词消歧和语篇连贯性方面表现突出。

ABSTRACT

Neural Machine Translation (NMT) can be improved by including document-level contextual information. For this purpose, we propose a hierarchical attention model to capture the context in a structured and dynamic manner. The model is integrated in the original NMT architecture as another level of abstraction, conditioning on the NMT model's own previous hidden states. Experiments show that hierarchical attention significantly improves the BLEU score over a strong NMT baseline with the state-of-the-art in context-aware methods, and that both the encoder and decoder benefit from context in complementary ways.

研究动机与目标

• 通过引入超越句子级别的文档级上下文，改进神经机器翻译。
• 解决现有上下文感知方法的局限性，这些方法要么增加额外参数，要么与主NMT架构脱节。
• 通过分层注意力结构化且动态地建模句子间联系，捕捉词级和句子级的抽象表示。
• 通过重用先前句子翻译的隐藏表示，在编码器和解码器中联合优化上下文建模。
• 证明源端和目标端上下文具有互补性，并共同提升翻译质量。

提出的方法

• 将两个HAN模块——一个置于编码器，一个置于解码器——集成到基于Transformer的NMT模型中，以建模来自先前源句和目标句的上下文。
• 在词级和句子级均使用多头注意力机制，根据当前解码步骤动态关注相关词和句子。
• 在编码器和解码器中重用先前句子翻译的隐藏状态作为上下文，实现跨多个句子的端到端优化。
• 采用上下文门控机制调节NMT网络与HAN模块之间的信息流动。
• 在每个注意力层后应用前馈全连接网络和层归一化，以稳定训练并提升表征学习效果。
• 对原始HAN进行扩展，引入多头注意力机制，以捕捉共指、词汇连贯性等多样化的语篇现象。

实验结果

研究问题

• RQ1 分层注意力网络是否能在不引入外部编码器或记忆模块的前提下，有效建模神经机器翻译中的文档级上下文？
• RQ2 源端和目标端上下文如何共同影响翻译质量？它们是否具有互补性？
• RQ3 所提出的HAN模型是否不仅能提升BLEU等自动指标，还能改善词汇连贯性和连贯性等定性语篇现象？
• RQ4 该模型在多大程度上能利用句子间上下文实现代词消歧？其注意力机制是否具备可解释性？
• RQ5 将HAN集成到主NMT架构中，是否比独立的上下文编码器或基于缓存的方法带来更好的性能？

主要发现

• 所提出的HAN-NMT模型在IWSLT'17 En-De测试集上达到55.40的BLEU分数，显著优于强基线模型（54.26）。
• 词汇连贯性平均提升1.5%，连贯性提升0.013，表明句子级连贯性和词汇重复性得到改善。
• 在IWSLT'17测试集上，代词消歧准确率达到30.58%，较基线提升0.52%，定性分析显示实现了正确的共指消解。
• 消融实验表明，源端和目标端上下文具有互补性：同时使用HAN编码器和解码器时性能增益最大。
• 定性示例显示，HAN能正确识别先行词（如'Nathaniel'对应'su'），并突出显示相关上下文，证明其注意力机制具备可解释性。