[论文解读] Faster Re-translation Using Non-Autoregressive Model For Simultaneous Neural Machine Translation

HyoJung Han, Sathish Reddy Indurthi+6 more|arXiv (Cornell University)|Dec 29, 2020

Natural Language Processing Techniques参考文献 24被引用 4

一句话总结

本文提出FReTNA，一种用于同时神经机器翻译的非自回归重翻译模型，该模型并行生成目标序列，与自回归重翻译（ReTA）相比，推理时间减少了一个数量级，同时保持了高翻译质量。该方法采用Levenshtein Transformer以实现高效的插入与删除操作，并引入一种新的稳定性度量指标NCNE，以更好地捕捉用户感知到的动态翻译中的闪烁现象。

ABSTRACT

Recently, simultaneous translation has gathered a lot of attention since it enables compelling applications such as subtitle translation for a live event or real-time video-call translation. Some of these translation applications allow editing of partial translation giving rise to re-translation approaches. The current re-translation approaches are based on autoregressive sequence generation models (ReTA), which generate tar-get tokens in the (partial) translation sequentially. The multiple re-translations with sequential generation inReTAmodelslead to an increased inference time gap between the incoming source input and the corresponding target output as the source input grows. Besides, due to the large number of inference operations involved, the ReTA models are not favorable for resource-constrained devices. In this work, we propose a faster re-translation system based on a non-autoregressive sequence generation model (FReTNA) to overcome the aforementioned limitations. We evaluate the proposed model on multiple translation tasks and our model reduces the inference times by several orders and achieves a competitive BLEUscore compared to the ReTA and streaming (Wait-k) models.The proposed model reduces the average computation time by a factor of 20 when compared to the ReTA model by incurring a small drop in the translation quality. It also outperforms the streaming-based Wait-k model both in terms of computation time (1.5 times lower) and translation quality.

研究动机与目标

• 为解决自回归重翻译（ReTA）模型在同时神经机器翻译中推理时间过高的问题，该问题随输入长度增加而加剧。
• 通过用并行的非自回归生成替代顺序的自回归解码，降低重翻译系统的墙钟延迟。
• 通过引入更敏感的稳定性度量指标，提升用户体验，以捕捉由插入、删除和替换引起的文本闪烁。
• 证明非自回归重翻译在速度和翻译质量方面均优于ReTA和流式Wait-k模型。

提出的方法

• 提出FReTNA，一种基于Levenshtein Transformer的非自回归重翻译模型，可在推理过程中同时进行多个标记的插入与删除操作。
• 调整Levenshtein Transformer的训练目标以支持基于修正的生成，实现高效的重翻译，而无需完全自回归地重新生成。
• 在推理过程中引入位置偏差，以引导标记预测并减少闪烁，尤其在低延迟场景下效果显著。
• 采用一种新的稳定性度量指标——归一化点击-编辑（NCNE），通过统计连续翻译之间插入、删除和替换的次数来量化文本不稳定性。
• 采用重翻译策略：在接收到每个新的源输入时，模型并行重新生成整个部分翻译，避免顺序的自回归生成。
• 使用前缀增强损失进行模型训练，以改善部分翻译上的对齐与性能。

实验结果

研究问题

• RQ1 非自回归生成是否能显著降低基于重翻译的同步神经机器翻译中的推理时间？
• RQ2 所提出的FReTNA模型在翻译质量与计算效率方面与ReTA和Wait-k模型相比如何？
• RQ3 新提出的NCNE度量是否比现有的NE度量更好地捕捉用户感知到的文本闪烁？
• RQ4 位置偏差在低延迟重翻译场景中在多大程度上提升了稳定性并减少了闪烁？

主要发现

• 所提出的FReTNA模型相比ReTA模型将平均计算时间减少了10倍，实现了显著的速度提升，同时翻译质量仅略有下降。
• FReTNA在计算时间上比流式Wait-k模型快1.5倍，同时翻译质量也更优。
• 带有位置偏差的FReTNA_pos变体相比FReTNA_non_pos的NCNE得分更低，表明闪烁减少，尤其在低延迟环境下效果更明显。
• NCNE度量检测到的闪烁多于NE度量，因为它考虑了所有标记级变化（插入、删除、替换），而不仅第一个差异点。
• 在低延迟设置下，FReTNA_non_pos由于过度预测并随后删除标记而表现出更高的闪烁，而FReTNA_pos中的位置偏差有效缓解了该问题。
• 该模型在大幅降低推理延迟的同时保持了高翻译质量，使其适用于资源受限设备上的实时应用。