[论文解读] Enhancing Machine Translation with Dependency-Aware Self-Attention

Emanuele Bugliarello, Naoaki Okazaki|arXiv (Cornell University)|Sep 6, 2019

Natural Language Processing Techniques参考文献 45被引用 9

一句话总结

本文提出 Pascal，一种无需参数、依赖感知的自注意力机制，通过在编码器第一层显式引入句法父节点关系，增强 Transformer 模型。通过基于依赖父节点位置缩放注意力分数，Pascal 提升了翻译质量——尤其在长句子和低资源设置下表现更优，在远距离英日翻译任务中实现最高 +3.5 BLEU 点的提升，且无需额外参数或计算开销。

ABSTRACT

Most neural machine translation models only rely on pairs of parallel sentences, assuming syntactic information is automatically learned by an attention mechanism. In this work, we investigate different approaches to incorporate syntactic knowledge in the Transformer model and also propose a novel, parameter-free, dependency-aware self-attention mechanism that improves its translation quality, especially for long sentences and in low-resource scenarios. We show the efficacy of each approach on WMT English-German and English-Turkish, and WAT English-Japanese translation tasks.

研究动机与目标

• 探究如何有效将句法知识整合到 Transformer 架构中，该架构传统上仅依赖注意力机制，缺乏显式的句法归纳偏置。
• 解决现有句法感知神经机器翻译模型的局限性，这些模型要么需要额外参数，要么增加序列长度，或无法在不同数据设置下泛化。
• 设计一种方法，在不损害模型效率或灵活性的前提下，利用依存分析信息增强 Transformer 中的自注意力机制。
• 评估像 LISA 和 Pascal 这类句法感知机制是否在 Transformer 框架中优于传统的基于 RNN 的句法整合方法。
• 证明在长句子和低资源语言对中，翻译质量的持续提升。

提出的方法

• 提出父节点缩放自注意力（Pascal），一种新颖的、无需参数的机制，通过在每个词元中引入其依赖父节点的位置，对标准自注意力进行修改。
• 对于每个词元，模型不仅基于查询-键交互计算注意力分数，还使用以父节点在词元序列中中间位置为中心的高斯函数对分数进行缩放。
• 该方法将子词单元映射到其父词的中间词元位置，使句法上下文即使在使用字节对编码（BPE）时也能被注入。
• Pascal 仅应用于编码器的第一层，此时词嵌入仍保持独立，以利用句法父节点信息丰富表示。
• 该方法利用外部依存分析获取父节点位置，并将其作为注意力机制中的位置偏差使用，而无需修改模型架构或参数。
• 使用高斯加权函数为父节点词元分配更高的注意力权重，方差通过经验调优以平衡局部关注与泛化能力。

实验结果

研究问题

• RQ1 能否在不增加参数或计算开销的前提下，有效将句法信息整合到 Transformer 模型的自注意力机制中？
• RQ2 在编码器第一层中引入依赖父节点关系是否能带来更好的词表示和更高的翻译质量？
• RQ3 Pascal 在不同数据设置下（包括低资源和长序列设置）与 LISA 或基于 RNN 的方法相比表现如何？
• RQ4 Pascal 的性能增益是否依赖于语言对的句法复杂度，例如德语或日语翻译？
• RQ5 所提方法对超参数选择是否具有鲁棒性，例如高斯加权函数的方差？

主要发现

• 在远距离英日翻译任务中，Pascal 实现了 +3.5 BLEU 点的提升，尤其在长句子中，低资源设置下增益超过 +2 BLEU 点。
• 该模型在所有评估任务（En-De、De-En、En-Tr 和 En-Ja）中均表现出一致的改进，证明其在多种语言对和数据规模下的鲁棒性。
• 将 Pascal 头部置于第一层时性能最高，证实早期句法上下文化能显著增强词表示学习。
• 注意力加权函数的最优高斯方差为 1，这与 BPE 处理数据中典型的子词拆分分布一致。
• 该方法对超参数调优不敏感，当将超参数从 En-De 移植到 De-En 时，仅导致 -0.2 BLEU 点的性能下降，表明其具有强大的泛化能力。
• Pascal 在低资源和长序列场景下优于基于 RNN 的句法整合方法及其他基于自注意力的方法（如 LISA）。