[论文解读] Modeling Coherence for Discourse Neural Machine Translation

Hao Xiong, Zhongjun He+2 more|arXiv (Cornell University)|Nov 14, 2018

Natural Language Processing Techniques参考文献 25被引用 11

一句话总结

该论文提出一种两阶段解码器模型，引入奖励教师以通过利用全局文本上下文来改进神经机器翻译中的语篇连贯性。通过训练策略网络以双向RNN为基础的奖励教师来最大化语篇连贯性，该模型在句级指标上相比强基线模型提升+1.23 BLEU，在语篇级指标上提升+2.2 BLEU。

ABSTRACT

Discourse coherence plays an important role in the translation of one text. However, the previous reported models most focus on improving performance over individual sentence while ignoring cross-sentence links and dependencies, which affects the coherence of the text. In this paper, we propose to use discourse context and reward to refine the translation quality from the discourse perspective. In particular, we generate the translation of individual sentences at first. Next, we deliberate the preliminary produced translations, and train the model to learn the policy that produces discourse coherent text by a reward teacher. Practical results on multiple discourse test datasets indicate that our model significantly improves the translation quality over the state-of-the-art baseline system by +1.23 BLEU score. Moreover, our model generates more discourse coherent text and obtains +2.2 BLEU improvements when evaluated by discourse metrics.

研究动机与目标

• 解决标准神经机器翻译模型在逐句翻译时缺乏跨句连贯性的问题。
• 建模句子之间的语篇级依赖关系与联系，以提升文本的流畅性与连贯性。
• 开发一种策略学习框架，以促进生成流畅、连贯的语篇级翻译。
• 验证基于双向RNN训练的奖励教师在引导策略学习以提升语篇连贯性方面的有效性。

提出的方法

• 采用两阶段解码器架构：第一阶段生成每句的初始翻译；第二阶段利用外部语篇上下文对翻译进行优化。
• 外部上下文由模型自身对其他句子的预测翻译构建，从而减少暴露偏差。
• 基于双向RNN的奖励教师学习通过词嵌入均值建模句子相似性，以估计语篇连贯性。
• 奖励教师使用Word2Vec嵌入的平均池化词向量之间的余弦相似度计算句子相似性。
• 通过强化学习进行策略学习，优化第二阶段解码器以最大化语篇连贯性奖励。
• 模型采用Transformer架构进行端到端训练，并在IWSLT TED演讲数据集上进行微调。

实验结果

研究问题

• RQ1 采用外部语篇上下文的两阶段解码策略是否能提升神经机器翻译中的语篇连贯性？
• RQ2 使用能估计语篇连贯性的奖励教师进行训练，是否能提升生成文本的流畅性与连贯性？
• RQ3 该模型在句级与语篇级指标上与强基线模型相比表现如何？
• RQ4 奖励教师的训练数据风格是否会影响生成翻译的质量？

主要发现

• 所提模型在句级BLEU上相比强基线系统提升+1.23分。
• 在语篇级指标上，模型实现+2.2 BLEU提升与+1.98 METEOR增益，优于基线。
• 在TED演讲数据上训练的奖励教师优于在非领域语料（如Gigaword）上训练的教师，表明风格一致性具有重要影响。
• 与基线相比，该模型生成了更多样化且更恰当的连接词（如'And'、'But'、'So'），表明语篇衔接性更优。
• 相邻句子之间的余弦相似度从第一阶段的0.5943提升至两阶段-BLEU-强化学习阶段的0.6014，表明句级连贯性得到改善。
• 人工评估显示，该模型的输出在语篇流畅性与连贯性方面更接近人类参考翻译。