[论文解读] A Novel Graph-based Multi-modal Fusion Encoder for Neural Machine Translation

Yongjing Yin, Fandong Meng+5 more|arXiv (Cornell University)|Jul 17, 2020

Natural Language Processing Techniques参考文献 37被引用 5

一句话总结

本文提出了一种基于图的多模态融合编码器，用于神经机器翻译，通过统一的多模态图建模词语与视觉对象之间的细粒度语义对应关系。通过堆叠基于图的融合层，迭代地执行模态内和模态间交互，并使用模态特定的参数，该模型在Multi30K数据集上实现了最先进性能，展示了在翻译任务中更优的多模态表征学习能力。

ABSTRACT

Multi-modal neural machine translation (NMT) aims to translate source sentences into a target language paired with images. However, dominant multi-modal NMT models do not fully exploit fine-grained semantic correspondences between semantic units of different modalities, which have potential to refine multi-modal representation learning. To deal with this issue, in this paper, we propose a novel graph-based multi-modal fusion encoder for NMT. Specifically, we first represent the input sentence and image using a unified multi-modal graph, which captures various semantic relationships between multi-modal semantic units (words and visual objects). We then stack multiple graph-based multi-modal fusion layers that iteratively perform semantic interactions to learn node representations. Finally, these representations provide an attention-based context vector for the decoder. We evaluate our proposed encoder on the Multi30K datasets. Experimental results and in-depth analysis show the superiority of our multi-modal NMT model.

研究动机与目标

• 为解决现有多模态NMT模型在利用文本与视觉单元之间细粒度语义对应关系方面的局限性。
• 通过构建统一的多模态图来弥合模态间的语义鸿沟，以捕捉模态内和模态间的关系。
• 开发一种基于图神经网络的编码器，实现迭代的、模态感知的语义交互，以提升多模态表征学习能力。
• 证明显式跨模态对应关系（如词-物体对齐）在增强神经机器翻译中的有效性。
• 提供一种可泛化的框架，适用于多种语言对和多模态NLP任务。

提出的方法

• 将输入句子和图像表示为统一的多模态图，其中节点为词语或视觉对象，边编码语义关系。
• 引入两类边：模态内边，用于同一模态内的关系（如词-词、物体-物体）；模态间边，用于跨模态对应关系（如'playing'到'toy car'）。
• 堆叠多个基于图的多模态融合层，通过模态特定参数顺序执行模态内自注意力和模态间门控机制。
• 利用注意力机制将最终的节点表征作为解码器的上下文向量。
• 利用视觉定位技术显式建模词语与图像区域之间的语义对齐，增强跨模态理解能力。
• 在Multi30K数据集上使用最大似然估计进行端到端训练。

实验结果

研究问题

• RQ1 统一的多模态图能否有效捕捉神经机器翻译中的模态内与模态间语义关系？
• RQ2 通过图神经网络实现的迭代、模态感知语义交互，是否相比传统融合方法能提升多模态表征学习能力？
• RQ3 显式跨模态对应关系（如词-物体对齐）在多模态NMT中在多大程度上提升了翻译性能？
• RQ4 所提出的基于图的融合编码器在不同语言对上的泛化能力如何？
• RQ5 该模型能否在标准基准上超越现有的最先进多模态NMT方法？

主要发现

• 所提出的模型在Multi30K数据集的英德翻译任务中实现了最先进性能，优于多个竞争基线模型。
• 在英法翻译任务中，该模型仍保持优越性能，证实了其在不同语言对上的有效性与泛化能力。
• 消融实验表明，移除模态间边或模态特定参数会导致性能显著下降，验证了显式跨模态建模的重要性。
• 定性分析显示，通过利用视觉上下文，该模型在处理歧义词语方面表现更优。
• 使用统一的多模态图相比独立的模态特定图或全局图像特征，能更好地表征语义对应关系。
• 代码已公开发布于 https://github.com/DeepLearnXMU/GMNMT，以支持可复现性与进一步研究。