[论文解读] Guiding Non-Autoregressive Neural Machine Translation Decoding with Reordering Information

Qiu Ran, Yankai Lin+2 more|arXiv (Cornell University)|Nov 6, 2019

Natural Language Processing Techniques参考文献 49被引用 17

一句话总结

本文提出 ReorderNAT，一种非自回归神经机器翻译框架，通过显式建模重排序信息作为解码引导，提升翻译质量。通过从源词重排序生成伪翻译，并利用其作为解码条件，ReorderNAT 减少了多模态问题，在推理速度最高提升六倍的同时，实现了与自回归模型相当的翻译质量。

ABSTRACT

Non-autoregressive neural machine translation (NAT) generates each target word in parallel and has achieved promising inference acceleration. However, existing NAT models still have a big gap in translation quality compared to autoregressive neural machine translation models due to the enormous decoding space. To address this problem, we propose a novel NAT framework named ReorderNAT which explicitly models the reordering information in the decoding procedure. We further introduce deterministic and non-deterministic decoding strategies that utilize reordering information to narrow the decoding search space in our proposed ReorderNAT. Experimental results on various widely-used datasets show that our proposed model achieves better performance compared to existing NAT models, and even achieves comparable translation quality as autoregressive translation models with a significant speedup.

研究动机与目标

• 解决非自回归 NMT 中的多模态问题，即独立生成单词导致的不一致或错误翻译。
• 在不牺牲推理速度的前提下，提升单步 NAT 模型的翻译质量。
• 探究重排序信息（即源词中表示目标语言词序的信息）是否可作为建模目标词之间依赖关系的有效代理。
• 开发利用重排序信息引导词选择的解码策略，以生成连贯一致的翻译。
• 在保持高速并行解码的同时，缩小非自回归与自回归 NMT 模型之间的性能差距。

提出的方法

• 在编码器与解码器之间引入一个重排序模块，通过将源词重排为目标语言词序，生成伪翻译。
• 将伪翻译作为解码器的条件输入，替代标准 NAT 中直接复制源表示的方法。
• 实现一种确定性引导解码策略，先生成最可能的伪翻译，再基于其解码目标句子。
• 引入一种非确定性引导解码策略，将伪翻译视为潜在变量，利用其条件分布引导目标词选择。
• 使用标准 NMT 目标端到端训练模型，其中重排序模块可微分，并与主翻译任务联合优化。
• 利用词排列的有限搜索空间，高效建模重排序，而不会带来显著计算开销。

实验结果

研究问题

• RQ1 显式建模重排序信息是否能减少非自回归 NMT 中的多模态问题？
• RQ2 使用伪翻译作为条件引导是否能提升生成翻译的一致性与准确性？
• RQ3 重排序信息是否可作为并行解码中捕捉目标词依赖关系的有效代理？
• RQ4 基于重排序的确定性与非确定性解码策略在性能与鲁棒性方面如何比较？
• RQ5 ReorderNAT 在多大程度上能缩小非自回归与自回归 NMT 模型之间的性能差距？

主要发现

• ReorderNAT 在多个基准数据集上显著且一致地优于大多数现有非自回归 NMT 模型。
• 该模型在保持近六倍推理速度的同时，实现了与自回归 NMT 模型相当的翻译质量，尤其在 WMT14 En-De 和 WMT16 En-De 数据集上表现突出。
• 非确定性解码策略优于确定性策略，表明对重排序中不确定性的建模可增强模型鲁棒性。
• 重排序模块有效捕捉了目标词之间的结构依赖关系，减少了重复、缺失或错误的词生成。
• 集成轻量级 AT 模块用于重排序建模，显著提升了翻译质量，且未降低推理速度。
• 实证结果证实，重排序信息对于缓解单步 NAT 中的多模态问题至关重要。