[论文解读] Modeling Latent Sentence Structure in Neural Machine Translation

Jasmijn Bastings, Wilker Aziz+2 more|arXiv (Cornell University)|Jan 18, 2019

Natural Language Processing Techniques参考文献 22被引用 8

一句话总结

该论文提出了一种神经机器翻译模型，通过从源句表示中随机采样加权的密集连接图，联合学习潜在句法结构与翻译。利用Concrete松弛实现可微图采样，实验表明CNN和词嵌入编码器能有效利用所诱导的图来捕捉长距离依赖，而RNN编码器由于其固有的表征能力，大多忽略这些依赖。

ABSTRACT

Recently it was shown that linguistic structure predicted by a supervised parser can be beneficial for neural machine translation (NMT). In this work we investigate a more challenging setup: we incorporate sentence structure as a latent variable in a standard NMT encoder-decoder and induce it in such a way as to benefit the translation task. We consider German-English and Japanese-English translation benchmarks and observe that when using RNN encoders the model makes no or very limited use of the structure induction apparatus. In contrast, CNN and word-embedding-based encoders rely on latent graphs and force them to encode useful, potentially long-distance, dependencies.

研究动机与目标

• 探究潜在句法结构是否能在不依赖有监督解析器的情况下提升神经机器翻译性能。
• 研究不同编码器架构（RNN、CNN、词嵌入）如何与所诱导的潜在图相互作用并加以利用。
• 设计一种可微的、随机的图归纳机制，以促进近似离散且有意义的依赖关系。
• 评估所诱导的图是否能捕捉超出编码器感受野的有用长程依赖。
• 解耦端到端NMT中图归纳与翻译组件的作用。

提出的方法

• 一种包含两个组件的概率编码器-解码器模型：图采样器和图感知的翻译解码器。
• 图组件使用Concrete分布，从源句隐藏状态中随机采样邻接矩阵，以促进类似离散的结构。
• 通过双向LSTM隐藏状态中查询与键表示之间的缩放点积注意力计算头势能。
• 翻译组件使用图卷积网络在所诱导的图上传播信息，增强源表示后再进行解码。
• 模型通过目标序列的交叉熵损失进行端到端训练，同时随时间逐渐降低图温度。
• 分析图稀疏性和头距离，以评估所诱导依赖的质量与结构。

实验结果

研究问题

• RQ1 能否在无监督条件下，于可微的端到端NMT模型中有效诱导出潜在句法结构？
• RQ2 编码器架构的选择（RNN、CNN、词嵌入）如何影响所诱导潜在图的有用性？
• RQ3 所诱导的图是否能捕捉超出编码器局部感受野的长程依赖？
• RQ4 所诱导的图是否具有可解释性与语义意义，还是退化为平凡结构？
• RQ5 当编码器本身已具备高度表达能力（如BiLSTM）时，模型是否仍能从图归纳中获益？

主要发现

• 当与潜在图归纳结合时，CNN和词嵌入编码器的BLEU分数显著提升，表明图捕捉到了有用的非局部依赖。
• RNN编码器在图归纳方面未表现出显著改进，因其潜在图大多为平凡结构，无法捕捉长程结构。
• 在英日翻译中，平均头距离从4.0（词嵌入）和4.3（RNN）提升至6.1（CNN），表明CNN利用图实现了更长距离的依赖。
• 图熵显著低于均匀分布（28.7），证实所诱导的图是稀疏且集中的，而非随机的。
• 该模型的图组件仅在编码器缺乏对长程上下文的强归纳偏置时（如CNN和词嵌入）才有效。
• 使用温度退火的Concrete分布成功促进了近似离散且有意义的图，同时避免了高方差反向传播。