[论文解读] Chunk-Based Bi-Scale Decoder for Neural Machine Translation

Hao Zhou, Zhaopeng Tu+4 more|arXiv (Cornell University)|May 3, 2017

Natural Language Processing Techniques参考文献 22被引用 8

一句话总结

本文提出了一种基于分块的双时间尺度解码器，用于神经机器翻译，通过将解码器状态划分为两个时间尺度来分层生成翻译：较慢的分块级状态用于短语建模，较快的词级状态用于词汇生成。通过使用边界门控制分块更新和分块级注意力，该模型提升了翻译的流畅性和充分性，在中文-英文和德文-英文基准测试中显著优于标准注意力机制的神经机器翻译模型。

ABSTRACT

In typical neural machine translation~(NMT), the decoder generates a sentence word by word, packing all linguistic granularities in the same time-scale of RNN. In this paper, we propose a new type of decoder for NMT, which splits the decode state into two parts and updates them in two different time-scales. Specifically, we first predict a chunk time-scale state for phrasal modeling, on top of which multiple word time-scale states are generated. In this way, the target sentence is translated hierarchically from chunks to words, with information in different granularities being leveraged. Experiments show that our proposed model significantly improves the translation performance over the state-of-the-art NMT model.

研究动机与目标

• 解决标准神经机器翻译解码器中短语成分与词汇成分更新速度不一致的问题。
• 在目标端显式建模短语级结构，以提升翻译的流畅性和语法正确性。
• 通过引入分块级注意力机制，增强上下文表征，其聚焦程度高于词级注意力。
• 通过解耦解码过程中快速（词级）与慢速（短语级）的动力学，减少过度翻译错误。
• 探索在目标端引入语言知识（如短语）而非仅依赖源端句法特征的优势。

提出的方法

• 模型采用双时间尺度RNN架构：分块级RNN更新频率较低，而词级RNN在每一步都更新。
• 边界门机制可自动检测短语边界，并触发分块状态的更新。
• 分块级注意力基于当前分块状态计算上下文向量，为短语级生成提供更集中的源端上下文。
• 词级状态基于当前分块状态生成，不使用注意力机制，从而实现在每个短语内部的分层词级生成。
• 模型在词级解码中使用标准注意力机制，但引入了一种新颖的双时间尺度状态更新机制，以解耦短语级与词汇级的动力学。
• 训练采用最大似然估计，结合束搜索解码，模型端到端进行训练。

实验结果

研究问题

• RQ1 通过不同时间尺度解耦解码器状态中的短语与词汇组件，能否提升翻译性能？
• RQ2 在目标端引入显式的短语级建模，是否能提升神经机器翻译的流畅性与充分性？
• RQ3 分块级注意力能否提供比标准词级注意力更有效的上下文表征？
• RQ4 边界门机制在多大程度上提升了对自然短语边界的检测能力？
• RQ5 与标准神经机器翻译模型相比，双时间尺度架构在多大程度上减少了过度翻译错误？

主要发现

• 在中文-英文WMT'14翻译任务中，该模型BLEU分数相比dl4mt基线模型提升了0.87分。
• 在德文-英文WMT'15任务中，模型BLEU分数提升了0.87分，表明在不同语言对上均保持一致的性能增益。
• 主观评估显示，与基线相比，过度翻译错误减少了6%（从32%降至26%）。
• 模型将未翻译错误从50%降至47%，表明对源端内容的覆盖更全面。
• 人工评估显示，该模型在充分性（3.35 vs. 3.26）和流畅性（3.71 vs. 3.69）方面评分均高于基线。
• 边界门机制平均准确率达89%，表明其有效学习了短语结构。