[论文解读] Improving Fluency of Non-Autoregressive Machine Translation

Zdeněk Kasner, Jindřich Libovický+1 more|arXiv (Cornell University)|Apr 7, 2020

Natural Language Processing Techniques参考文献 20被引用 6

一句话总结

本文提出了一种用于非自回归神经机器翻译（nAR-NMT）的束搜索解码方法，通过在评分模型中引入额外特征（如n-gram语言模型、空白符号比例和尾随空白符号计数）来提升流畅性。通过结合基于CTC的nAR解码与结构化感知机以学习特征权重，该方法在保持比标准自回归模型快1.5倍的同时，实现了与自回归模型相当的BLEU分数，尤其在束大小为20时表现突出。

ABSTRACT

Non-autoregressive (nAR) models for machine translation (MT) manifest superior decoding speed when compared to autoregressive (AR) models, at the expense of impaired fluency of their outputs. We improve the fluency of a nAR model with connectionist temporal classification (CTC) by employing additional features in the scoring model used during beam search decoding. Since the beam search decoding in our model only requires to run the network in a single forward pass, the decoding speed is still notably higher than in standard AR models. We train models for three language pairs: German, Czech, and Romanian from and into English. The results show that our proposed models can be more efficient in terms of decoding speed and still achieve a competitive BLEU score relative to AR models.

研究动机与目标

• 解决非自回归机器翻译（nAR-NMT）模型中因追求解码速度而造成的流畅性下降问题。
• 在不牺牲nAR模型并行解码速度优势的前提下，提升翻译流畅性。
• 在束搜索中引入评分模型，整合外部特征（如语言模型和CTC特有统计量）以指导假设选择。
• 通过可调节的束大小平衡解码速度与翻译质量。
• 证明nAR模型可在与自回归模型相比仅有极小延迟代价的情况下，实现具有竞争力的BLEU分数。

提出的方法

• 使用基于CTC的nAR模型，通过状态分裂并行生成目标词元，实现计算的完全并行化。
• 应用束搜索解码，其评分函数结合了CTC概率P(y|x)与特征Φ(y)的加权和，包括n-gram语言模型得分、空白符号比例和尾随空白符号计数。
• 使用结构化感知机训练特征权重w，当参考翻译不在束中时进行更新。
• 通过单次前向传播完成推理，同时计算所有词元的概率，从而保持nAR模型的速度优势。
• 在感知机训练过程中，利用保留的开发集进行早期停止，以优化束搜索。
• 在WMT测试集上对三种语言对（德语、捷克语和罗马尼亚语与英语之间）进行性能评估。

实验结果

研究问题

• RQ1 束搜索评分模型中引入额外特征是否能提升非自回归机器翻译输出的流畅性？
• RQ2 基于CTC的nAR模型在保持高解码速度的同时，能在多大程度上实现与自回归模型相当的BLEU分数？
• RQ3 束大小如何影响所提nAR模型中翻译质量与解码速度之间的权衡？
• RQ4 哪些特定特征（如语言模型、空白符号统计量）对流畅性提升贡献最大？
• RQ5 单次前向传播的解码策略是否能在保持高速的同时，通过结构化评分实现流畅性提升？

主要发现

• 在束大小为20时，所提模型在英德翻译任务中达到26.03的BLEU分数，其质量与贪婪自回归解码相当，同时保持了1.5倍的加速优势。
• 将束大小从1增加到5，所有语言对的BLEU分数均至少提升3分，表明存在显著的质量-速度权衡。
• CTC得分、语言模型、空白比例和尾随空白特征的组合取得了最高BLEU分数（26.03），表明多特征评分优于单一特征基线。
• 通过人工评估确认，该模型有效减少了常见的nAR问题，如重复词语、语法错误短语和过短翻译。
• 解码时间与句子长度呈线性关系，但相比自回归模型仍快得多，尤其在长序列上优势明显。
• 在保留开发集上使用早期停止的结构化感知机训练，有效优化了特征权重，提升了泛化能力与流畅性。