[论文解读] Incorporating Global Visual Features into Attention-Based Neural Machine Translation

Iacer Calixto, Qun Liu+1 more|arXiv (Cornell University)|Jan 23, 2017

Natural Language Processing Techniques参考文献 32被引用 28

一句话总结

本文提出了一种新颖的基于注意力机制的神经机器翻译（NMT）模型，将来自预训练卷积神经网络（CNN）的全局视觉特征整合到编码器和解码器中，采用多种策略如将图像特征作为源词注入、初始化编码器状态以及增强解码器初始化。最佳模型在Multi30k数据集上取得了最先进（SOTA）的结果，显著优于所有指标下的短语基于SMT和强基准NMT模型，并表明合成的后翻译数据可进一步提升性能。

ABSTRACT

We introduce multi-modal, attention-based neural machine translation (NMT) models which incorporate visual features into different parts of both the encoder and the decoder. We utilise global image features extracted using a pre-trained convolutional neural network and incorporate them (i) as words in the source sentence, (ii) to initialise the encoder hidden state, and (iii) as additional data to initialise the decoder hidden state. In our experiments, we evaluate how these different strategies to incorporate global image features compare and which ones perform best. We also study the impact that adding synthetic multi-modal, multilingual data brings and find that the additional data have a positive impact on multi-modal models. We report new state-of-the-art results and our best models also significantly improve on a comparable phrase-based Statistical MT (PBSMT) model trained on the Multi30k data set according to all metrics evaluated. To the best of our knowledge, it is the first time a purely neural model significantly improves over a PBSMT model on all metrics evaluated on this data set.

研究动机与目标

• 通过将图像的全局视觉特征整合到基于注意力机制的NMT架构中，提升神经机器翻译性能。
• 探究不同视觉特征整合策略（如将特征作为源词注入或初始化隐藏状态）对翻译质量的影响。
• 评估合成多模态、多语言训练数据对模型性能的影响。
• 确定纯神经多模态模型是否能在标准基准上超越短语基于SMT系统。
• 解决在每个解码时间步直接注入图像特征时观察到的过拟合问题。

提出的方法

• 使用预训练的卷积神经网络（VGG-19）提取全局图像特征，并将其投影到词向量空间。
• 将视觉特征作为额外的“词”整合到源句中，以丰富输入表示。
• 利用图像特征初始化编码器的隐藏状态，使编码过程建立在视觉上下文基础上。
• 同时，利用图像特征初始化解码器的隐藏状态，为生成过程提供视觉上下文起点。
• 采用多任务学习设置，结合合成的后翻译数据以增强训练并提升泛化能力。
• 模型采用基于注意力机制的编码器-解码器框架，视觉特征在多个阶段被整合，而无需修改注意力机制本身。

实验结果

研究问题

• RQ1 将全局视觉特征整合到基于注意力机制的NMT模型的不同组件中，如何影响翻译质量？
• RQ2 哪种视觉特征整合策略——作为源词注入、编码器初始化或解码器初始化——能获得最佳性能？
• RQ3 添加合成的多模态、多语言训练数据是否能提升多模态NMT模型的性能？
• RQ4 纯神经多模态NMT模型是否能在Multi30k数据集上超越强基准的短语基于SMT系统？
• RQ5 为何在每个解码时间步直接注入图像特征会导致过拟合？如何避免这一问题？

主要发现

• 通过视觉特征初始化解码器隐藏状态的模型（IMG_D）取得最佳整体性能，BLEU-4得分为38.5，METEOR为55.9，TER为41.6，chrF3为68.4。
• 所有多模态模型均显著优于短语基于SMT基线（34.0 BLEU-4）和强NMT基线（35.5 BLEU-4），性能提升在1.2至3.0 BLEU-4点之间。
• 将图像特征作为源句中“词”的模型（IMG_2W）表现劣于基于状态初始化的方法，表明直接输入注入不如状态初始化有效。
• 添加合成后翻译数据可带来一致的性能提升：在增强数据上微调后，最佳模型（IMG_D）相比NMT基线BLEU-4得分提升3.0点。
• 研究证实，在每个解码时间步直接注入图像特征会导致过拟合，阻碍学习，与先前研究结果一致。
• 结果首次表明，纯神经多模态NMT模型可在Multi30k数据集的所有标准指标（BLEU、METEOR、TER、chrF3）上显著超越短语基于SMT系统。