[论文解读] Local Translation Prediction with Global Sentence Representation

Jiajun Zhang|arXiv (Cornell University)|Feb 27, 2015

Natural Language Processing Techniques参考文献 25被引用 20

一句话总结

本文提出了一种双语约束的基于块的卷积神经网络（BCCNN），用于学习全局句子级语义表征，以提升统计机器翻译中的局部翻译预测。通过将这些表征集成到前馈神经网络联合模型中，该方法在强基线的层次短语模型上实现了显著的BLEU分数提升——最高达1.38，证明了全局上下文对翻译质量的价值。

ABSTRACT

Statistical machine translation models have made great progress in improving the translation quality. However, the existing models predict the target translation with only the source- and target-side local context information. In practice, distinguishing good translations from bad ones does not only depend on the local features, but also rely on the global sentence-level information. In this paper, we explore the source-side global sentence-level features for target-side local translation prediction. We propose a novel bilingually-constrained chunk-based convolutional neural network to learn sentence semantic representations. With the sentence-level feature representation, we further design a feed-forward neural network to better predict translations using both local and global information. The large-scale experiments show that our method can obtain substantial improvements in translation quality over the strong baseline: the hierarchical phrase-based translation model augmented with the neural network joint model.

研究动机与目标

• 为解决现有统计机器翻译模型仅依赖局部上下文的局限性，通过引入全局句子级语义信息以提升翻译预测性能。
• 在无需标准语义标签的情况下，学习鲁棒的句子级语义表征，利用平行句子对作为弱监督信号。
• 设计一种神经网络架构，有效处理可变长度句子，同时保留对翻译任务有意义的语义内容。
• 将学习到的全局表征集成到层次短语模型的解码过程中，以提升翻译质量。

提出的方法

• 提出一种双语约束的基于块的卷积神经网络（BCCNN），通过利用平行句子对作为弱监督信号来学习句子表征，避免对标准语义标签的依赖。
• 将句子分割为可配置数量的块，以处理可变长度，并保留比最大池化更丰富的语义信息。
• 使用预训练模型（如word2vec）的词嵌入作为输入，对每个块应用卷积和池化层以提取局部特征，并将这些特征聚合为固定长度的句子表征。
• 将学习到的句子表征集成到前馈神经网络中，利用局部和全局上下文联合预测目标词的条件概率。
• 将预测的概率融合到层次短语模型的对数线性模型中，以提升翻译输出质量。
• 采用联合训练策略，通过单语和双语并行数据端到端优化句子表征与翻译预测。

实验结果

研究问题

• RQ1 全局句子级语义是否能显著提升统计机器翻译中的局部翻译预测？
• RQ2 如何在无需标准语义标签的情况下，有效学习句子级语义表征？
• RQ3 如何对可变长度句子进行结构化设计，以在神经网络中捕捉全局语义？
• RQ4 将全局表征集成到层次短语模型中，对翻译质量有何影响？

主要发现

• 所提出的BCCNN模型在使用4个块时表现最佳，优于最大池化和其它块配置。
• 使用4个块的模型（+BCCNN-4）在MT08测试集上相比基线模型实现了高达1.38的BLEU分数提升。
• 使用更多块（如8个）并未提升性能，反而可能引入噪声，表明存在最优的分块范围。
• 全局句子表征的集成在所有测试集上均一致提升了翻译质量，证明了全局上下文的价值。
• 双语约束的训练策略有效学习到了有意义的句子表征，且无需人工标注的语义标签。