[论文解读] Enriching Non-Autoregressive Transformer with Syntactic and SemanticStructures for Neural Machine Translation

Ye Liu, Yao Wan+3 more|arXiv (Cornell University)|Jan 22, 2021

Natural Language Processing Techniques参考文献 28被引用 4

一句话总结

本文提出SNAT，一种用于神经机器翻译的非自回归Transformer模型，通过在模型中整合句法（词性标注，POS）和语义（命名实体识别，NER）结构标签，提升翻译质量和效率。通过引入结构引导和中间潜在对齐机制，SNAT在WMT14 En-De和WMT16 En-Ro数据集上的BLEU分数达到或超过当前最先进水平的同时，推理速度比自回归Transformer快9.3倍。

ABSTRACT

The non-autoregressive models have boosted the efficiency of neural machine translation through parallelized decoding at the cost of effectiveness when comparing with the autoregressive counterparts. In this paper, we claim that the syntactic and semantic structures among natural language are critical for non-autoregressive machine translation and can further improve the performance. However, these structures are rarely considered in the existing non-autoregressive models. Inspired by this intuition, we propose to incorporate the explicit syntactic and semantic structures of languages into a non-autoregressive Transformer, for the task of neural machine translation. Moreover, we also consider the intermediate latent alignment within target sentences to better learn the long-term token dependencies. Experimental results on two real-world datasets (i.e., WMT14 En-De and WMT16 En-Ro) show that our model achieves a significantly faster speed, as well as keeps the translation quality when compared with several state-of-the-art non-autoregressive models.

研究动机与目标

• 通过整合句法与语义结构，缩小非自回归与自回归NMT模型之间的性能差距。
• 通过显式的结构监督缓解非自回归解码中的多模态问题。
• 通过解码器层之间的中间潜在对齐机制，提升长距离依赖建模能力。
• 在不牺牲翻译质量的前提下，实现高速推理。

提出的方法

• 模型同时接收输入词元及其POS/NER标签，使编码器能够关注句法与语义结构。
• 句法与语义结构标签被嵌入并拼接至词嵌入，以引导解码器。
• 通过正则化解码器层与目标词元之间的注意力图，引入中间潜在对齐机制，以建模长期依赖。
• 模型采用多任务学习目标，结合标准交叉熵损失与对齐正则化。
• 模型架构端到端可训练，采用标准Transformer组件，包括多头注意力与前馈网络。
• 在WMT14 En-De与WMT16 En-Ro数据集上进行评估，并对结构使用方式与对齐层进行消融实验。

实验结果

研究问题

• RQ1 将POS与NER标签整合至非自回归Transformer是否能提升翻译质量？
• RQ2 解码器层之间的中间潜在对齐机制如何影响长距离依赖建模？
• RQ3 与当前最先进非自回归模型相比，该模型是否在提升翻译性能的同时保持高速推理？
• RQ4 该模型在不同句长，尤其是长序列上的表现如何？

主要发现

• 在WMT14 En-De数据集上，SNAT在批量大小为1时实现比自回归Transformer快9.3倍的推理速度，同时保持具有竞争力的BLEU分数。
• 在WMT14 En-De上，引入POS标签使BLEU提升1.37分，引入NER标签使BLEU提升1.25分，证明了句法与语义监督的有效性。
• 使用第三层表示（Z³）进行中间对齐时，相比基线模型提升最大，达到+1.46 BLEU。
• SNAT在不同句长下表现稳定，BLEU分数仅从长度≤10时的28.67略微下降至长度>100时的17.69，而基线非自回归模型则出现急剧下降。
• 在WMT14 En-De上，SNAT在使用Z³与POS/NER标签时达到24.57 BLEU，优于多个当前最先进非自回归模型，在速度与准确率上均表现更优。
• SNAT比DCRF-NAT更快，同时翻译质量更优，验证了其高效性与有效性。