[论文解读] A Survey on Non-Autoregressive Generation for Neural Machine Translation and Beyond

Yisheng Xiao, Lijun Wu+5 more|arXiv (Cornell University)|Apr 20, 2022

Natural Language Processing Techniques被引用 5

一句话总结

本综述全面概述了神经机器翻译（NMT）及其他领域中非自回归（NAR）生成方法，系统性地对数据处理、建模、训练目标、解码策略以及预训练模型等方向的方法进行了分类。综述指出，近期进展已显著缩小了与自回归模型之间的性能差距，同时强调了依赖建模和知识蒸馏依赖性等挑战，为未来研究与实际部署提供了洞见。

ABSTRACT

Non-autoregressive (NAR) generation, which is first proposed in neural machine translation (NMT) to speed up inference, has attracted much attention in both machine learning and natural language processing communities. While NAR generation can significantly accelerate inference speed for machine translation, the speedup comes at the cost of sacrificed translation accuracy compared to its counterpart, autoregressive (AR) generation. In recent years, many new models and algorithms have been designed/proposed to bridge the accuracy gap between NAR generation and AR generation. In this paper, we conduct a systematic survey with comparisons and discussions of various non-autoregressive translation (NAT) models from different aspects. Specifically, we categorize the efforts of NAT into several groups, including data manipulation, modeling methods, training criterion, decoding algorithms, and the benefit from pre-trained models. Furthermore, we briefly review other applications of NAR models beyond machine translation, such as grammatical error correction, text summarization, text style transfer, dialogue, semantic parsing, automatic speech recognition, and so on. In addition, we also discuss potential directions for future exploration, including releasing the dependency of KD, reasonable training objectives, pre-training for NAR, and wider applications, etc. We hope this survey can help researchers capture the latest progress in NAR generation, inspire the design of advanced NAR models and algorithms, and enable industry practitioners to choose appropriate solutions for their applications. The web page of this survey is at \url{https://github.com/LitterBrother-Xiao/Overview-of-Non-autoregressive-Applications}.

研究动机与目标

• 系统性地回顾并分类非自回归神经机器翻译（NAT）模型的最新进展。
• 识别并分析NAT的核心挑战：无法捕捉目标端依赖关系，导致翻译质量下降。
• 评估并比较多种策略——数据处理、建模设计、训练目标、解码方法以及预训练技术——以提升NAT性能。
• 将综述范围从NMT扩展至文本摘要、语音识别、风格迁移等更多应用场景。
• 识别开放性问题与未来研究方向，包括减少对知识蒸馏的依赖，以及增强NAR模型的预训练方法。

提出的方法

• 将NAT方法划分为五大关键领域：数据处理、建模架构、训练目标、解码算法以及利用预训练模型。
• 分析基于迭代、潜在变量和增强机制的建模技术，以捕捉目标端依赖关系。
• 调研知识蒸馏、似然最大化以及近期重新审视基于似然训练的统一框架等训练目标。
• 评估迭代优化与注意力机制增强等解码策略，以提升NAR生成质量。
• 回顾将预训练模型整合进NAR框架的方法，以提升性能，尤其在低资源与多语言场景中。
• 将分析扩展至多样化的自然语言处理与语音应用，包括文本到语音、语音翻译、代码补全与时间序列预测等。

实验结果

研究问题

• RQ1 在推理速度与翻译准确率方面，非自回归模型与自回归模型相比如何？
• RQ2 NAR生成的主要技术挑战是什么，特别是无法建模目标端依赖关系的问题？
• RQ3 数据处理、建模设计与训练目标在多大程度上能提升NAR性能？
• RQ4 知识蒸馏在缩小NAR与自回归模型性能差距方面有多有效？
• RQ5 NAR模型在低资源、多语言及非翻译任务中的前景与局限性如何？

主要发现

• 知识蒸馏仍是提升NAR模型性能最有效的方法，但其依赖于预训练自回归模型，导致可扩展性受限。
• 基于迭代的NAR模型性能接近自回归模型，但在大批次推理下因需顺序解码而失去速度优势。
• NAR训练中简单的似然最大化无法保留标记间的依赖关系，导致边缘分布近似，进而降低生成质量。
• 尽管预训练技术对自回归模型具有变革性影响，但其在NAR模型中的应用仍研究不足，凸显未来研究的巨大潜力。
• NAR方法已成功拓展至文本摘要、语音到语音翻译、代码补全与时间序列预测等多种任务，展现出广泛适用性。
• 在语音应用中使用非自回归架构（如语音转换与唇动到语音合成）展现出高推理效率，并通过基于GAN的声码器与流式设计显著提升了音频质量。