[论文解读] Can neural machine translation do simultaneous translation?

Kyunghyun Cho, Masha Esipova|arXiv (Cornell University)|Jun 7, 2016

Natural Language Processing Techniques参考文献 18被引用 134

一句话总结

本文介绍 simultaneous greedy decoding，一种通过共同决定分段和翻译来将基于注意力的神经机器翻译适配为同时翻译的方法，在 En-Cs、En-De 和 En-Ru 的语言对上实现对质量-延迟权衡的控制。

ABSTRACT

We investigate the potential of attention-based neural machine translation in simultaneous translation. We introduce a novel decoding algorithm, called simultaneous greedy decoding, that allows an existing neural machine translation model to begin translating before a full source sentence is received. This approach is unique from previous works on simultaneous translation in that segmentation and translation are done jointly to maximize the translation quality and that translating each segment is strongly conditioned on all the previous segments. This paper presents a first step toward building a full simultaneous translation system based on neural machine translation.

研究动机与目标

• 在神经机器翻译中动机研究同时翻译，以在质量和延迟之间取得平衡。
• 提出一种解码算法，使在仍在接收完整源句的情况下进行翻译。
• 展示在已学习的 NMT 模型下，对 past segments 条件下的分段与翻译联合进行。
• 评估等待准则如何在多语言对中影响质量-延迟权衡。

提出的方法

• 引入 simultaneous greedy decoding，它以批次方式读取源文本，在有把握时贪婪地输出目标标记，同时可选地等待更多源材料（由 delta 和 s0 控制）。
• 将编码器上下文保持为源表示的动态集合；仅在等待准则被认定有益时才用新块更新。
• 使用两种等待准则（Wait-If-Worse 和 Wait-If-Diff）来决定是等待额外的源上下文还是立即翻译。
• 在完整句子上训练标准的基于注意力的 NMT 模型（带注意力的编码-解码器）；在不重新训练模型的情况下应用该解码算法进行同时翻译。
• 用归一化度量 tau(X,Y) 量化延迟，并分析 BLEU 与 tau 在语言对 En-Cs、En-De、En-Ru 的权衡。
• 将同时解码的性能与常规的连续贪婪解码和束搜索基线进行比较。

实验结果

研究问题

• RQ1 一个为连续翻译训练的基于注意力的 NMT 模型，是否可以通过一种新的解码策略用于同时翻译？
• RQ2 不同的等待准则（Wait-If-Worse 与 Wait-If-Diff）如何影响同时翻译中的质量-延迟权衡？
• RQ3 解码参数 delta 和 s0 在多语言方向上的翻译质量和延迟的影响？
• RQ4 在不同语言对中，同时贪婪解码会呈现哪些定性行为（如短语重复、过早承诺）？

主要发现

• 同时贪婪解码使同时翻译成为可能，且可控的翻译质量与延迟之间的权衡。
• Wait-If-Worse 通常能获得更高质量但延迟更大，而 Wait-If-Diff 提供更广的延迟-质量权衡，可能导致更多重复。
• 翻译质量与延迟模式在语言对（En-Cs、En-De、En-Ru）及方向上存在差异，受形态丰富性和句法影响。
• 存在可测的质量-延迟关系：增加信息量（更大的 delta 或 s0）会改变模型的等待与翻译时间，从而影响 BLEU 与 tau。
• 在某些情况下，俄英翻译在特定准则下显示出过早承诺和短语重复，突显当前等待策略的局限性。
• BLEU 得分（作为参考）在使用作者模型时相对于基线具有竞争力： En->Cs 15.2 (Ours) / 13.84 (Star), En->De 19.5 / 21.75, En->Ru 17.77 / 19.54; 相反方向： Cs->En 20.47 / 20.32, De->En 23.96 / 24, Ru->En 22.27 / 22.44.
• 该方法表明端到端的 NMT 系统可以重新用于同时翻译，而无需重新训练以对齐或定时。