[论文解读] Constant-Time Machine Translation with Conditional Masked Language Models.

Marjan Ghazvininejad, Omer Levy+2 more|arXiv (Cornell University)|Apr 19, 2019

Natural Language Processing Techniques参考文献 7被引用 35

一句话总结

该论文提出了一种常数时间机器翻译模型，采用条件掩码语言建模来非自回归地预测目标词，通过固定步数的迭代逐步优化低置信度预测。该模型在解码速度显著提升的同时，实现了自回归Transformer模型92–95%的性能，平均优于SOTA常数时间模型3 BLEU以上。

ABSTRACT

Most machine translation systems generate text autoregressively, by sequentially predicting tokens from left to right. We, instead, use a masked language modeling objective to train a model to predict any subset of the target words, conditioned on both the input text and a partially masked target translation. This approach allows for efficient iterative decoding, where we first predict all of the target words non-autoregressively, and then repeatedly mask out and regenerate the subset of words that the model is least confident about. By applying this strategy for a constant number of iterations, our model improves state-of-the-art performance levels for constant-time translation models by over 3 BLEU on average. It is also able to reach 92-95% of the performance of a typical left-to-right transformer model, while decoding significantly faster.

研究动机与目标

• 为解决神经机器翻译中的速度-性能权衡问题，实现常数时间推理。
• 改进现有非自回归翻译模型，这些模型因同时生成所有词而准确率较低。
• 开发一种基于模型置信度迭代优化预测的解码策略，实现在无需自回归生成的前提下获得高质量翻译。
• 在保持显著更快推理速度的同时，实现常数时间模型中的最先进性能。

提出的方法

• 使用一种掩码语言建模目标进行模型训练，该目标在输入和部分掩码目标的条件下，预测目标词的任意子集。
• 通过单步非自回归方式初始化解码，一次性生成所有目标词。
• 迭代识别模型置信度最低的目标词子集并重新生成。
• 对固定数量的迭代步骤重复此优化过程，以提升翻译质量。
• 使用条件掩码，使模型在预测时能够同时关注输入和掩码后的目标上下文。
• 利用模型的置信度估计，动态选择每轮迭代中需要重新预测的词。

实验结果

研究问题

• RQ1 非自回归模型是否能在不依赖迭代优化的情况下实现高质量翻译？
• RQ2 基于模型置信度的迭代优化是否能提升常数时间解码的翻译性能？
• RQ3 掩码语言建模目标是否能有效支持非自回归生成，同时保持速度优势？
• RQ4 该方法的性能与自回归Transformer及先前的常数时间模型相比如何？
• RQ5 在固定迭代次数下，推理速度与翻译质量之间的权衡关系如何？

主要发现

• 所提模型平均优于SOTA常数时间翻译模型3 BLEU以上。
• 在解码速度显著提升的同时，实现了标准自左向右Transformer模型92–95%的性能。
• 基于置信度估计的迭代优化策略在固定步数内有效提升了翻译质量。
• 该模型在多个翻译基准上表现优异，优于先前的非自回归方法。
• 条件掩码语言建模的使用有效支持了高质量的非自回归生成。