[论文解读] Coverage-based Neural Machine Translation.

Zhaopeng Tu, Zhengdong Lu+3 more|arXiv (Cornell University)|Jan 19, 2016

Natural Language Processing Techniques参考文献 4被引用 54

一句话总结

本文提出一种基于覆盖率的神经机器翻译（NMT）模型，通过维护一个覆盖率向量来追踪过去的注意力对齐情况，从而通过引导模型关注先前未被注意的源词，减少过翻译和翻译不足的问题。实验表明，该模型在对齐质量和翻译性能方面均显著优于标准NMT。

ABSTRACT

However, attentional NMT ignores past alignment information, which leads to over-translation and under-translation problems. In response to this problem, we maintain a coverage vector to keep track of the attention history. The coverage vector is fed to the attention model to help adjust the future attention, which guides NMT to pay more attention to the untranslated source words. Experiments show that coverage-based NMT significantly improves both alignment and translation quality over NMT without coverage.

研究动机与目标

• 解决基于注意力的神经机器翻译中的过翻译和翻译不足问题。
• 通过将历史注意力信息整合到注意力机制中，提升对齐精度。
• 通过基于过去对齐模式的动态注意力调整，提升翻译质量。
• 提供一种简单而有效的机制，在不进行架构大规模改动的前提下增强NMT。

提出的方法

• 维护一个覆盖率向量，随时间累积注意力权重，以表示源词对齐的历史。
• 将覆盖率向量作为注意力机制的输入，以惩罚已被关注的源词。
• 通过将覆盖率向量与标准点积注意力相结合，计算出具有覆盖率感知的注意力分布。
• 在每个解码步骤更新覆盖率向量，以反映新关注的源词。
• 修改注意力机制，以减少对已覆盖源词的重复关注，促进更均匀的覆盖率。

实验结果

研究问题

• RQ1 维持注意力历史是否能提升神经机器翻译中的对齐精度？
• RQ2 引入覆盖率是否能减少NMT中的过翻译和翻译不足？
• RQ3 与标准NMT相比，基于覆盖率的注意力如何影响整体翻译质量？
• RQ4 简单的覆盖率向量机制是否能显著改善序列到序列模型中的注意力动态？

主要发现

• 基于覆盖率的NMT模型在对齐质量方面显著优于标准NMT。
• 该模型通过覆盖率向量有效追踪已关注的源词，从而减少过翻译和翻译不足。
• 翻译质量显著提升，自动评估指标结果表明其性能明显优于基线。
• 该方法在不同数据集和模型架构上均表现出一致的性能增益。