[论文解读] Agreement-based Joint Training for Bidirectional Attention-based Neural Machine Translation

Yong Cheng, Shiqi Shen+5 more|arXiv (Cornell University)|Dec 15, 2015

Natural Language Processing Techniques参考文献 15被引用 20

一句话总结

本文提出一种基于一致性的双向注意力神经机器翻译联合训练方法，其中源到目标和目标到源模型通过在词对齐矩阵上达成一致来联合优化。通过结合似然目标与对齐一致性损失，该方法在中文-英文和英文-法文任务上相比独立训练显著提升了对齐准确率与翻译质量。

ABSTRACT

The attentional mechanism has proven to be effective in improving end-to-end neural machine translation. However, due to the intricate structural divergence between natural languages, unidirectional attention-based models might only capture partial aspects of attentional regularities. We propose agreement-based joint training for bidirectional attention-based end-to-end neural machine translation. Instead of training source-to-target and target-to-source translation models independently,our approach encourages the two complementary models to agree on word alignment matrices on the same training data. Experiments on Chinese-English and English-French translation tasks show that agreement-based joint training significantly improves both alignment and translation quality over independent training.

研究动机与目标

• 解决单向注意力模型因语言间结构差异而无法捕捉完整注意力规律的局限性。
• 通过利用双向模型之间的互补信息，提升神经机器翻译中的词对齐准确率。
• 通过在训练过程中强制源到目标与目标到源对齐矩阵之间的一致性，提升翻译质量。
• 将此前用于词对齐的一致性学习方法，拓展至端到端神经机器翻译中的可微分参数化注意力矩阵。

提出的方法

• 训练两个独立的基于RNN的NMT模型：一个用于源到目标翻译，另一个用于目标到源翻译。
• 定义一个联合训练目标，将两个模型的似然性与它们对齐矩阵之间的一致性项相结合。
• 使用可微分的一致性损失，衡量两个模型在相同训练句子对上生成的对齐矩阵之间的共识程度。
• 使用随机梯度下降优化联合目标，使梯度能够通过两个模型及一致性项反向传播。
• 在编码器中使用双向RNN，以捕捉每个源词的前向与后向上下文信息。
• 将该方法应用于标准NMT框架（如RNNsearch），无需任何架构修改。

实验结果

研究问题

• RQ1 与独立训练相比，双向注意力模型的联合训练是否能提升词对齐准确率？
• RQ2 在训练过程中强制源到目标与目标到源对齐矩阵之间的一致性，是否能带来更好的翻译质量？
• RQ3 基于一致性的联合训练如何影响注意力分布，特别是对低频目标词的影响？
• RQ4 该方法在不同语言对（如中文-英文和英文-法文）上是否均有效？

主要发现

• 与独立训练相比，基于一致性的联合训练在中文-英文和英文-法文数据集上显著降低了对齐错误率（AER）。
• 该方法提升了翻译性能，在英文-法文任务上显著优于独立训练和Moses基线模型。
• 联合训练下注意力熵降低，表明注意力分布更加聚焦且稳定，尤其对低频目标词表现更优。
• 联合训练生成的对齐矩阵相比独立训练模型显示出更高的共识度与更优的结构一致性。
• 对齐质量的提升与翻译质量的改善呈正相关，表明更优的对齐有助于更准确的生成。
• 该方法在不同语言对上泛化能力良好，且除联合优化外无需任何架构修改。