[论文解读] Incorporating Structural Alignment Biases into an Attentional Neural Translation Model

Trevor Cohn, Cong Duy Vu Hoang+4 more|arXiv (Cornell University)|Jan 6, 2016

Natural Language Processing Techniques被引用 5

一句话总结

本文通过整合传统词级模型中的结构对齐偏差（如位置偏差、马尔可夫条件、生育率和双向对齐一致性）来增强注意力机制神经机器翻译模型。通过引入这些归纳偏差，所提模型在低资源设置下显著提升了BLEU分数和困惑度，尤其在重排序任务中相较强基线模型最高提升达3.5 BLEU点。

ABSTRACT

Neural encoder-decoder models of machine translation have achieved impressive results, rivalling traditional translation models. However their modelling formulation is overly simplistic, and omits several key inductive biases built into traditional models. In this paper we extend the attentional neural translation model to include structural biases from word based alignment models, including positional bias, Markov conditioning, fertility and agreement over translation directions. We show improvements over a baseline attentional model and standard phrase-based model over several language pairs, evaluating on difficult languages in a low resource setting.

研究动机与目标

• 为解决标准注意力机制神经机器翻译模型缺乏传统短语级模型中关键归纳偏差的问题。
• 通过将语言结构偏差嵌入注意力机制，提升低资源设置下的翻译质量。
• 探究是否通过整合对齐相关偏差（如位置、生育率和一致性约束）可提升模型性能。
• 在多种语言对上评估模型性能，特别是具有复杂词形句法结构的语言对。
• 证明结构化归纳偏差可带来困惑度和BLEU分数的可测量提升。

提出的方法

• 提出一种基于双向LSTM的编码器-解码器框架，其注意力机制在解码过程中动态关注源词。
• 通过引入绝对位置偏差增强注意力机制，偏好源词与目标词顺序的单调对齐。
• 应用马尔可夫和局部生育率约束，以建模每个源词对应的期望目标词数量，提升对齐一致性。
• 通过使用预训练的生育率分布实现全局生育率建模，以引导注意力并减少噪声。
• 通过联合训练前向和后向注意力头来强制对齐一致性，鼓励对称的对齐预测。
• 利用增强模型的对数概率特征进行重排序，以提升翻译输出，尤其在低资源场景下表现更优。

实验结果

研究问题

• RQ1 能否有效将传统词级模型中的结构对齐偏差迁移至注意力机制神经翻译框架？
• RQ2 在低资源设置下，整合位置偏差、生育率和对齐一致性是否能提升翻译质量？
• RQ3 与原始注意力机制和短语级模型相比，这些结构化偏差如何影响困惑度和BLEU分数？
• RQ4 联合双向注意力训练在多大程度上提升了对齐准确性和翻译流畅性？
• RQ5 在低资源翻译中，该增强模型用于重排序时能否超越强基线模型？

主要发现

• 在所有语言对上，所提模型的困惑度均低于原始编码器-解码器和标准注意力模型，部分情况下降低高达30%。
• 在重排序实验中，该模型相较基线短语级系统最高提升3.5 BLEU点，尤其在中英和爱沙尼亚语-英语翻译中表现显著。
• 在中英翻译任务中，使用不同配置模型的集成在重排序时使BLEU分数提升了近3个百分点。
• 该模型在所有语言对的双向翻译中均持续优于原始注意力模型和编码器-解码器模型，至少提升1 BLEU点。
• 全局生育率与双向注意力的结合使注意力分布更具置信度和一致性，尤其在一对多对齐场景下表现更优。
• 结果表明，引入结构化偏差能显著提升低资源设置下的性能，尤其在数据稀缺限制模型学习的情况下。