[论文解读] Attention Focusing for Neural Machine Translation by Bridging Source and Target Embeddings

Shaohui Kuang, Junhui Li+3 more|arXiv (Cornell University)|Nov 15, 2017

Natural Language Processing Techniques参考文献 19被引用 3

一句话总结

本文提出三种桥接模型——源端桥接、目标端桥接和直接桥接——通过缩短神经机器翻译（NMT）中源词嵌入与目标词嵌入之间的距离，以改善词对齐和翻译质量。通过在序列到序列框架内更紧密地整合源嵌入与目标嵌入，这些模型显著提升了对齐准确率，减少了过翻译和欠翻译现象，在不依赖外部资源的情况下优于标准NMT模型。

ABSTRACT

In neural machine translation, a source sequence of words is encoded into a vector from which a target sequence is generated in the decoding phase. Differently from statistical machine translation, the associations between source words and their possible target counterparts are not explicitly stored. Source and target words are at the two ends of a long information processing procedure, mediated by hidden states at both the source encoding and the target decoding phases. This makes it possible that a source word is incorrectly translated into a target word that is not any of its admissible equivalent counterparts in the target language. In this paper, we seek to somewhat shorten the distance between source and target words in that procedure, and thus strengthen their association, by means of a method we term bridging source and target word embeddings. We experiment with three strategies: (1) a source-side bridging model, where source word embeddings are moved one step closer to the output target sequence; (2) a target-side bridging model, which explores the more relevant source word embeddings for the prediction of the target sequence; and (3) a direct bridging model, which directly connects source and target word embeddings seeking to minimize errors in the translation of ones by the others. Experiments and analysis presented in this paper demonstrate that the proposed bridging models are able to significantly improve quality of both sentence translation, in general, and alignment and translation of individual source words with target words, in particular.

研究动机与目标

• 为解决神经机器翻译（NMT）中源词与目标词在长隐藏状态序列中失去语义关联的问题，即词对齐性能差的问题。
• 减少NMT中常见的错误对齐现象，例如将‘eos’错误对齐至‘late’，或将‘winter olympics’错误对齐至逗号，这类现象在SMT中极为罕见。
• 在不依赖外部资源（如SMT词对齐或词典表）的前提下，增强源词与目标词嵌入之间的关联性。
• 通过使模型能直接从训练数据中学习更合理的翻译对，从而提升翻译质量。

提出的方法

• 源端桥接：将每个源词嵌入与其对应的源隐藏状态拼接，以增强注意力对相关源词的关注度。
• 目标端桥接：基于注意力权重选择高注意力源词，并在解码过程中更紧密地将其与目标隐藏状态融合。
• 直接桥接：学习一个线性变换矩阵，将源嵌入直接映射至目标嵌入，以最小化翻译错误。
• 桥接机制被整合进标准的seq2seq NMT架构中，仅进行最小的结构修改，同时保持端到端训练。
• 所有模型均使用标准NMT目标函数进行端到端训练，无需额外监督或预训练对齐数据。
• 直接桥接模型使用一个可学习的变换矩阵，为每个源词寻找最接近的目标词嵌入，其机制类似于SMT中的词典表。

实验结果

研究问题

• RQ1 在NMT处理链中缩短源词与目标词嵌入之间的距离，是否能提升词对齐质量？
• RQ2 桥接源词与目标词嵌入是否能减少NMT中的过翻译与欠翻译问题？
• RQ3 模型是否能在不依赖外部SMT词对齐或词典表的前提下，学习到更准确的翻译对？
• RQ4 不同桥接策略（源端、目标端、直接）在提升对齐与翻译质量方面的表现如何比较？

主要发现

• 所提出的桥接模型在中英翻译任务中显著提升了翻译质量，优于标准NMT基线模型。
• 直接桥接模型生成的翻译对与SMT词典表中的结果高度一致，表明其与合法翻译等价物具有强对齐性。
• 模型显著降低了错误对齐的发生率，例如将‘eos’错误对齐至‘late’，或将‘winter olympics’错误对齐至逗号，此类错误在基线NMT中可高达50%。
• 实验表明，桥接机制提升了词对齐质量，并有效缓解了过翻译与欠翻译问题。
• 直接桥接模型学习到的变换矩阵能有效将源嵌入映射至其最可能的目标对应词，展现出强大的捕捉翻译等价关系的能力。
• 分析结果证实，桥接方法有助于模型学习到更优的源-目标词对，从而同时提升整体翻译质量与局部对齐准确率。