[论文解读] Context-Dependent Translation Selection Using Convolutional Neural Network

Zhaopeng Tu, Baotian Hu+2 more|arXiv (Cornell University)|Mar 9, 2015

Natural Language Processing Techniques参考文献 31被引用 9

一句话总结

本文提出了一种上下文相关的卷积匹配（CDCM）模型，该模型利用卷积神经网络在结合局部句子上下文的前提下衡量双语短语对之间的语义相似度，通过上下文感知的匹配机制，将基于短语的统计机器翻译（SMT）性能最高提升1.4 BLEU分数。该模型采用课程学习策略，逐步从较简单的翻译样本训练到较难的样本，从而实现超越静态短语相似度的上下文敏感匹配。

ABSTRACT

We propose a novel method for translation selection in statistical machine translation, in which a convolutional neural network is employed to judge the similarity between a phrase pair in two languages. The specifically designed convolutional architecture encodes not only the semantic similarity of the translation pair, but also the context containing the phrase in the source language. Therefore, our approach is able to capture context-dependent semantic similarities of translation pairs. We adopt a curriculum learning strategy to train the model: we classify the training examples into easy, medium, and difficult categories, and gradually build the ability of representing phrase and sentence level context by using training examples from easy to difficult. Experimental results show that our approach significantly outperforms the baseline system by up to 1.4 BLEU points.

研究动机与目标

• 为解决上下文无关翻译模型在处理歧义短语时的局限性，通过引入局部句子上下文信息来改进。
• 通过学习双语短语之间的上下文相关语义相似度，提升基于短语的统计机器翻译的翻译质量。
• 设计一种深度神经网络架构，联合编码短语对及其上下文信息，以实现更精确的匹配。
• 探究课程学习是否能提升上下文敏感翻译模型的训练效果。
• 评估双语词嵌入与单语词嵌入在上下文感知翻译选择中的影响。

提出的方法

• 设计一个卷积神经网络，用于编码源端短语及其周围句子上下文，捕捉局部句法与语义依赖关系。
• 通过将短语与上下文表示拼接后输入多层感知机，计算源短语与候选翻译之间的匹配得分。
• 训练采用课程学习策略，将样本按难度分组——从简单（基本语义相似度）逐步过渡到困难（依赖上下文的相似度）——以提升泛化能力。
• 使用一种方法初始化双语词嵌入，该方法可对齐跨语言的单语嵌入，从而增强跨语言语义迁移能力。
• 模型在三元组（源短语+上下文，正样本翻译，负样本翻译）上进行监督式训练，通过反向传播优化损失函数。
• 该架构被设计为能有效处理长上下文，利用卷积层的全局感受野，避免RNN在处理长序列时出现的梯度消失等问题。

实验结果

研究问题

• RQ1 卷积神经网络能否有效建模机器翻译中双语短语对之间的上下文相关语义相似度？
• RQ2 在短语匹配中引入局部句子上下文，是否能带来相对于上下文无关模型的可测量翻译质量提升？
• RQ3 课程学习对上下文感知翻译选择模型的性能有何影响？
• RQ4 与单语词嵌入相比，双语词嵌入在多大程度上提升了上下文敏感匹配的性能？
• RQ5 性能提升主要源于更优的上下文建模，还是主要归因于更优的短语表示？

主要发现

• CDCM模型在强基线的基于短语的SMT模型上实现了最高1.4 BLEU分数的性能提升，证明了显著的性能增益。
• 上下文相关模型优于其上下文无关的对应模型，证明局部上下文对准确的翻译选择至关重要。
• 双语词嵌入始终优于单语词嵌入，翻译质量最高可提升0.3 BLEU分数。
• 使用双语嵌入初始化的模型能产生更具判别力的结果，能够正确选择在上下文中恰当的翻译，而非语义相似但上下文错误的替代项。
• 课程学习有助于提升泛化能力，但假设‘困难样本（难负例）对性能提升贡献最大’被证伪，表明负样本的质量至关重要。
• 卷积架构能有效捕捉长上下文的语义信息，在处理长句子时优于递归模型，后者常受梯度消失和激活值衰减问题困扰。