[论文解读] LAVA NAT: A Non-Autoregressive Translation Model with Look-Around Decoding and Vocabulary Attention

Xiaoya Li, Yuxian Meng+3 more|arXiv (Cornell University)|Feb 8, 2020

Topic Modeling参考文献 29被引用 11

一句话总结

本文提出 LAVA NAT，一种非自回归翻译模型，通过引入前瞻解码（Look-Around decoding）和词汇注意力（Vocabulary Attention）来解决非自回归模型中的多模态问题。通过预测相邻词并关注整个词汇表，LAVA NAT 在推理速度上相比自回归模型最高提升 20.18 倍，同时保持了具有竞争力的 BLEU 分数，显著降低了延迟并提升了翻译质量。

ABSTRACT

Non-autoregressive translation (NAT) models generate multiple tokens in one forward pass and is highly efficient at inference stage compared with autoregressive translation (AT) methods. However, NAT models often suffer from the multimodality problem, i.e., generating duplicated tokens or missing tokens. In this paper, we propose two novel methods to address this issue, the Look-Around (LA) strategy and the Vocabulary Attention (VA) mechanism. The Look-Around strategy predicts the neighbor tokens in order to predict the current token, and the Vocabulary Attention models long-term token dependencies inside the decoder by attending the whole vocabulary for each position to acquire knowledge of which token is about to generate. %We also propose a dynamic bidirectional decoding approach to accelerate the inference process of the LAVA model while preserving the high-quality of the generated output. Our proposed model uses significantly less time during inference compared with autoregressive models and most other NAT models. Our experiments on four benchmarks (WMT14 En$ ightarrow$De, WMT14 De$ ightarrow$En, WMT16 Ro$ ightarrow$En and IWSLT14 De$ ightarrow$En) show that the proposed model achieves competitive performance compared with the state-of-the-art non-autoregressive and autoregressive models while significantly reducing the time cost in inference phase.

研究动机与目标

• 为解决非自回归翻译（NAT）中的多模态问题，即模型因标记独立性与位置建模不佳而生成重复或缺失标记。
• 通过引入一种新颖的前瞻解码策略，提升 NAt 中的标记级与位置级依赖关系，该策略利用相邻标记来指导当前标记的预测。
• 通过引入词汇注意力（Vocabulary Attention），使每个解码器位置能够基于上下文线索关注整个词汇表，从而增强长距离标记依赖关系。
• 在保持与其他 NAT 模型相当的推理速度的同时，实现与当前最先进自回归及非自回归模型相当或更优的性能。

提出的方法

• 前瞻（LA）解码同时预测左、右相邻标记，以引导当前标记的预测，减少位置-标记错配，改善局部词序建模。
• 词汇注意力（VA）使每个解码器层能够为每个位置关注所有词汇项，从而捕捉长距离依赖关系并提升标记选择的准确性。
• 引入一种动态双向解码策略，使模型能够通过从左到右与从右到左两个方向的迭代解码，逐步优化预测结果。
• 在训练过程中使用可微分调度采样（DSS），以减少暴露偏差并提升泛化能力。
• 采用交叉熵损失端到端训练模型，并通过动态解码调度进行微调，以进一步提升生成质量。
• 该架构将 LA 与 VA 集成到标准的 Transformer 解码器中，保持单次前向传播的推理效率。

实验结果

研究问题

• RQ1 在解码过程中建模相邻标记是否能提升非自回归翻译的准确率与流畅性？
• RQ2 在每个解码器位置关注整个词汇表，是否能增强模型生成多样化且正确目标标记的能力？
• RQ3 结合双向上下文与词汇注意力，是否能带来优于单向或独立标记生成的性能表现？
• RQ4 非自回归模型在保持高推理速度的前提下，能在多大程度上实现与自回归模型相当的性能？
• RQ5 与贪婪搜索和束搜索相比，动态双向解码策略在 BLEU 分数与推理速度方面表现如何？

主要发现

• 在 WMT14 En→De 数据集上，当同时使用左、右前瞻机制时，LAVA NAT 相较标准 NAT 模型实现 +9 BLEU 分的性能提升，大幅超越基线模型。
• 在 IWSLT14 De→En 数据集上，模型达到 33.59 的 BLEU 分数，相比自回归 Transformer 模型实现 20.18 倍的推理加速，展现出极高的效率与准确性。
• 前瞻机制在多个 NAT 模型上均提升性能，IWSLT14 De→En 数据集上 BLEU 提升范围为 +0.55 至 +1.16。
• 可微分调度采样（DSS）在所有训练策略中表现最佳，优于教师强制（Teacher Forcing）与标准调度采样。
• LAVA NAT 在不同句子长度下均保持稳定性能，而标准 NAT 模型在长序列上的性能显著下降。
• 定性分析显示，该模型生成的翻译结果无重复标记，且与参考译文高度一致。