[论文解读] Deep Encoder, Shallow Decoder: Reevaluating the Speed-Quality Tradeoff in Machine Translation

Jungo Kasai, Nikolaos Pappas+3 more|arXiv (Cornell University)|Jun 18, 2020

Natural Language Processing Techniques参考文献 44被引用 53

一句话总结

本文提出一种深度编码器、浅层解码器的神经机器翻译架构，表明在一维自回归解码器配合深度编码器时，可在保持非自回归模型推理速度的同时实现最先进（SOTA）的翻译质量。关键洞见在于：通过优先在编码器中增加深度，实现最优的层分配，从而克服自回归解码的固有延迟劣势。

ABSTRACT

State-of-the-art neural machine translation models generate outputs autoregressively, where every step conditions on the previously generated tokens. This sequential nature causes inherent decoding latency. Non-autoregressive translation techniques, on the other hand, parallelize generation across positions and speed up inference at the expense of translation quality. Much recent effort has been devoted to non-autoregressive methods, aiming for a better balance between speed and quality. In this work, we re-examine the trade-off and argue that transformer-based autoregressive models can be substantially sped up without loss in accuracy. Specifically, we study autoregressive models with encoders and decoders of varied depths. Our extensive experiments show that given a sufficiently deep encoder, a one-layer autoregressive decoder yields state-of-the-art accuracy with comparable latency to strong non-autoregressive models. Our findings suggest that the latency disadvantage for autoregressive translation has been overestimated due to a suboptimal choice of layer allocation, and we provide a new speed-quality baseline for future research toward fast, accurate translation.

研究动机与目标

• 重新评估自回归神经机器翻译中普遍存在的延迟劣势假设。
• 探究通过重新平衡编码器与解码器的深度，能否改善速度与质量的权衡。
• 通过优化基于Transformer的模型中的层分配，建立快速、高精度翻译的新基线。
• 挑战当前倾向于为追求速度而牺牲质量而采用非自回归方法的主流趋势。

提出的方法

• 作者训练了具有不同编码器与解码器深度的Transformer模型，系统评估了多种深度配置。
• 采用深度编码器（例如6–12层）以捕捉丰富的上下文表征，同时使用单层解码器实现快速的自回归生成。
• 模型采用标准目标端到端训练，推理延迟在标准自回归解码下进行测量。
• 该方法利用深度编码器的表征能力来弥补解码器复杂度的最小化，从而在不损失准确率的前提下实现并行化优势。
• 实验将所提架构与强大的非自回归基线及标准深度自回归模型进行对比。
• 该方法依赖架构消融实验，以隔离编码器深度与解码器深度对速度与质量指标的影响。

实验结果

研究问题

• RQ1 能否通过浅层解码器与深度编码器的组合，在保持低推理延迟的同时实现最先进翻译质量？
• RQ2 由于层分配不合理，自回归模型的延迟劣势是否被高估了？
• RQ3 增加编码器深度对最小化（单层）解码器在自回归翻译中的性能有何影响？
• RQ4 深度编码器是否能使单层解码器在与速度相当的条件下，达到或超越更深的自回归模型的质量？
• RQ5 该架构能否作为未来神经机器翻译研究中新的速度-质量基线？

主要发现

• 单层解码器配合深度编码器在标准基准测试上实现了最先进翻译质量，优于更深的自回归模型。
• 所提模型的推理速度与强大的非自回归模型相当，尽管其为自回归结构。
• 深度编码器、浅层解码器模型的延迟与非自回归基线相当，这与自回归模型本质上较慢的假设相矛盾。
• 深度编码带来的性能增益超过了最小化解码复杂度的局限，表明编码器深度对质量的影响大于解码器深度。
• 该架构建立了快速、高精度翻译的新基线，表明层分配是一个关键设计选择，但此前被严重低估。
• 结果表明，神经机器翻译中的速度-质量权衡并非固有，而可通过架构设计实现再平衡。