[论文解读] Encoding Source Language with Convolutional Neural Network for Machine Translation

Fandong Meng, Zhengdong Lu+4 more|arXiv (Cornell University)|Mar 6, 2015

Natural Language Processing Techniques参考文献 27被引用 52

一句话总结

本文提出一种基于卷积神经网络（CNN）的新方法，通过利用目标侧信号引导注意力聚焦于关键源词，实现神经机器翻译中相关源语言信息的动态编码。通过将门控卷积编码器——tag CNN 和 in CNN——整合到联合语言模型中，该方法在 NIST 中文-英文翻译任务上相比基线模型提升 +2.0 BLEU 点，相比先前最先进方法提升 +1.08 BLEU 点。

ABSTRACT

The recently proposed neural network joint model (NNJM) (Devlin et al., 2014) augments the n-gram target language model with a heuristically chosen source context window, achieving state-of-the-art performance in SMT. In this paper, we give a more systematic treatment by summarizing the relevant source information through a convolutional architecture guided by the target information. With different guiding signals during decoding, our specifically designed convolution+gating architectures can pinpoint the parts of a source sentence that are relevant to predicting a target word, and fuse them with the context of entire source sentence to form a unified representation. This representation, together with target language words, are fed to a deep neural network (DNN) to form a stronger NNJM. Experiments on two NIST Chinese-English translation tasks show that the proposed model can achieve significant improvements over the previous NNJM by up to +1.08 BLEU points on average

研究动机与目标

• 通过在解码过程中动态识别并仅编码源句中最相关部分，提升神经机器翻译性能。
• 通过采用更具适应性的、注意力引导的编码机制，克服先前模型（如 NNJM）使用固定大小源上下文窗口的局限性。
• 将基于深度神经网络的联合模型与基于 CNN 的、由目标侧信息引导的源编码器相结合，以获得更优的上下文表征。
• 评估不同引导信号（如词对齐标签和目标解码器隐藏状态）对源表征质量的影响。
• 证明引导式、卷积式源句编码可显著提升统计机器翻译系统的性能，且无需端到端重新训练。

提出的方法

• 提出两种基于 CNN 的编码器——tag CNN 和 in CNN——分别利用目标侧的不同引导信号，聚焦于相关源词。
• tag CNN 利用当前目标词的对齐索引，选择并仅编码其关联的源词；in CNN 则利用目标 RNN 的隐藏状态作为注意力信号。
• 采用多层卷积架构，结合局部门控与全局池化，以提取并总结关键源特征，同时保留整句话的上下文信息。
• 将 CNN 学习到的源表征与目标词历史在深度神经网络（DNN）中联合，用于预测下一个目标词，形成更强的神经网络联合模型（NNJM）。
• 在 CNN 层中采用最大池化与门控策略聚合信息，并通过消融实验比较不同池化尺寸与门控机制的性能表现。
• 将联合模型作为特征应用于依存转字符串翻译系统，实现与现有 SMT 解码器的集成，无需架构重构。

实验结果

研究问题

• RQ1 卷积神经网络能否基于目标侧上下文的引导，有效识别并仅编码预测给定目标词所需的关键源词？
• RQ2 使用不同引导信号（如词对齐标签或解码器隐藏状态）如何影响源表征质量与翻译性能？
• RQ3 门控卷积架构在总结用于神经机器翻译的相关源信息方面，相较于传统最大池化，能多大程度上实现性能超越？
• RQ4 将句法信息（如依存头）作为输入添加到 CNN 中，是否能增强模型定位相关源短语的能力？
• RQ5 所提出的引导式 CNN 基联合模型能否在基线 SMT 系统与先前最先进 NNJM 模型上均实现显著性能提升？

主要发现

• 所提模型在 NIST 中文-英文翻译任务上，相比基线依存转字符串翻译系统，平均提升 +2.0 BLEU 点。
• 该模型相比先前最先进 NNJM 模型最高提升 +1.08 BLEU 点，证明了引导式动态源编码的有效性。
• in CNN 在 8 池化配置下表现最佳，相比 2 池化提升 0.71 BLEU 点，表明更大的感受野更有利于捕捉相关源片段。
• 在 tag CNN 中额外引入依存头信息作为标签，平均性能提升 +0.23 BLEU 点，表明句法结构有助于提升表征质量。
• CNN 层中的门控机制相比最大池化提升 0.34–0.71 BLEU 点，表明通过门控学习注意力比固定池化更有效于选择相关源内容。
• 消融实验确认，引导信号与网络架构设计（如门控与池化）均显著影响性能，其中 in CNN 与 tag CNN 在不同解码信号下表现出互补优势。