[论文解读] A Dependency-Based Neural Reordering Model for Statistical Machine Translation

Christian Hadiwinoto, Hwee Tou Ng|arXiv (Cornell University)|Feb 15, 2017

Natural Language Processing Techniques被引用 4

一句话总结

该论文提出了一种用于短语基于统计机器翻译（SMT）的神经重排模型，利用依存句法分析和连续词嵌入来预测由依存关系连接的两个源语言词在翻译中是否应交换顺序。该模型采用两个前馈神经网络——一个用于头-修饰语关系，一个用于兄弟关系——使用词的连续表示、词性标注、依存关系标签和结构特征，相较于先前的SMT系统，在中英翻译任务上实现了0.57 BLEU点的提升。

ABSTRACT

In machine translation (MT) that involves translating between two languages with significant differences in word order, determining the correct word order of translated words is a major challenge. The dependency parse tree of a source sentence can help to determine the correct word order of the translated words. In this paper, we present a novel reordering approach utilizing a neural network and dependency-based embeddings to predict whether the translations of two source words linked by a dependency relation should remain in the same order or should be swapped in the translated sentence. Experiments on Chinese-to-English translation show that our approach yields a statistically significant improvement of 0.57 BLEU point on benchmark NIST test sets, compared to our prior state-of-the-art statistical MT system that uses sparse dependency-based reordering features.

研究动机与目标

• 为解决中文与英文等语法差异较大的语言之间的翻译中词序重排问题。
• 通过整合基于依存关系的神经网络来预测重排决策，提升短语基于SMT的性能。
• 用连续的神经嵌入替代稀疏的手动设计的依存基特征，以减少对特征工程的依赖。
• 通过使用基于依存结构输入特征训练的神经分类器引导束搜索解码，提升翻译质量。

提出的方法

• 该模型使用两个独立的前馈神经网络：一个用于依存句法树中的头-修饰语关系，一个用于兄弟关系。
• 输入特征包括词形、词性标注、依存关系标签、词之间的带符号距离以及标点符号存在指示符。
• 每个特征通过查找表映射到连续向量空间，拼接后的向量通过两层隐藏层（使用ReLU激活函数）进行处理。
• 最终层输出二元预测：1表示两个词应在翻译中交换顺序，0表示应保持原有顺序。
• 该神经分类器作为束搜索中的解码特征集成，影响短语基于SMT系统中翻译假设的选择。
• 连续表示也应用于非词特征（如词性标注、依存标签和布尔指示符），以提升泛化能力。

实验结果

研究问题

• RQ1 神经网络能否有效预测由依存关系连接的两个源语言词在翻译中是否应重排？
• RQ2 使用词、词性标注和依存标签的连续嵌入是否能提升重排性能，相较于稀疏离散特征？
• RQ3 基于神经的重排模型是否能在短语基于SMT中超越传统的稀疏依存基重排特征？
• RQ4 与端到端神经机器翻译（NMT）相比，所提出的神经重排模型在BLEU分数和训练效率方面表现如何？

主要发现

• 所提出的神经重排模型在NIST中英翻译测试集上，相较于使用稀疏依存基特征的先前最先进SMT系统，实现了0.57 BLEU点的统计显著提升。
• 即使在基线SMT系统使用相同短语基于重排模型的情况下，该神经模型仍表现更优，证明了连续表示和端到端学习的优势。
• 该神经重排模型超越了在相同数据上训练的单一NMT系统，BLEU得分为39.55，高于NMT的38.97，且p < 0.01。
• 该模型通过端到端学习表示减少了对手动特征工程的依赖，并可无缝集成到束搜索解码中，无需依赖图表解析。
• 使用连续嵌入表示词性标注和依存标签，相较于离散表示可提升性能，这与神经依存句法分析相关研究结果一致。
• 该模型训练效率高于NMT，仅需3天训练时间，而NMT需18天，同时实现了更优的翻译质量。