[论文解读] Multi-Modal Graph Neural Network for Joint Reasoning on Vision and Scene Text

Difei Gao, Ke Li+3 more|arXiv (Cornell University)|Mar 31, 2020

Multimodal Machine Learning Applications参考文献 53被引用 14

一句话总结

本文提出多模态图神经网络（MM-GNN），一种新颖的框架，通过基于图的架构与跨模态消息传递，对图像中场景文本的视觉、语义和数值模态进行建模。通过利用基于注意力的聚合器捕捉视觉上下文、语义上下文和数值关系，MM-GNN 显著提升了场景文本理解在视觉问答（VQA）任务中的性能，在 TextVQA 和 VizWiz-TextVQA 基准上取得当前最优结果，并增强了可解释性。

ABSTRACT

Answering questions that require reading texts in an image is challenging for current models. One key difficulty of this task is that rare, polysemous, and ambiguous words frequently appear in images, e.g., names of places, products, and sports teams. To overcome this difficulty, only resorting to pre-trained word embedding models is far from enough. A desired model should utilize the rich information in multiple modalities of the image to help understand the meaning of scene texts, e.g., the prominent text on a bottle is most likely to be the brand. Following this idea, we propose a novel VQA approach, Multi-Modal Graph Neural Network (MM-GNN). It first represents an image as a graph consisting of three sub-graphs, depicting visual, semantic, and numeric modalities respectively. Then, we introduce three aggregators which guide the message passing from one graph to another to utilize the contexts in various modalities, so as to refine the features of nodes. The updated nodes have better features for the downstream question answering module. Experimental evaluations show that our MM-GNN represents the scene texts better and obviously facilitates the performances on two VQA tasks that require reading scene texts.

研究动机与目标

• 为解决视觉问答（VQA）中罕见、多义或模糊的场景文本理解难题，这些难题仅靠词嵌入无法可靠解决。
• 通过联合建模图像中场景文本所包含的视觉、语义和数值多种模态，提升 VQA 性能。
• 使模型能够基于视觉显著性、周围文本和数值关系等上下文线索，推理未知或模糊词汇的含义。
• 设计一种消息传递机制，通过基于布局和问题上下文的注意力机制，动态优化跨模态的节点表示。

提出的方法

• MM-GNN 构建一个多模态图，包含三个子图：一个用于视觉实体（物体和文本），一个用于场景文本的语义含义，一个用于数值及其关系。
• 节点初始表示通过预训练特征初始化：使用 Faster R-CNN 提取视觉特征，使用预训练词嵌入表示文本。
• 三种基于注意力的聚合器实现跨模态消息传递：视觉-语义、语义-语义和语义-数值，每种均利用相关上下文信息优化节点特征。
• 聚合器基于视觉外观、空间布局和问题上下文计算节点间的相关性得分，使模型能够关注在物理和语义上相关的对象或文本。
• 模型采用基于拼接的融合方案，在特征融合过程中保留更丰富的信息，避免因平均化导致的性能下降。
• 经过优化的节点特征被输入下游 VQA 模块，注意力可视化展示了逐步、可解释的推理过程。

Figure 1: An image could contain information in multiple modalities, thus it looks different to models with different abilities. For example, the image in the eye of a human (top left) combines multi-modal contents. The visual modality contains the visual appearances of objects and texts. The semant

实验结果

研究问题

• RQ1 在场景文本中联合建模视觉、语义和数值模态，能否提升对模糊或罕见词汇的 VQA 性能？
• RQ2 基于注意力机制的跨模态消息传递，在多大程度上能有效推断未知或多义场景文本标记的含义？
• RQ3 视觉显著性、周围文本和数值关系在多大程度上促进了 VQA 任务中的准确推理？
• RQ4 通过注意力可视化，能否使模型的推理过程变得可解释？这些注意力机制是否与人类推理方式一致？

主要发现

• MM-GNN 在 TextVQA 验证集上达到当前最优性能，采用基于拼接的组合方案时，VQA 准确率达到 27.85%。
• 消融实验表明，所有组合方案（求和、平均、拼接）的性能均低于所提出的拼接方法，后者能更好地保留信息。
• 可视化结果证实，MM-GNN 中的注意力机制具有清晰的可解释性，能根据问题上下文聚焦于相关视觉对象、周围文本和数值标记。
• 模型通过利用视觉显著性和语义上下文，成功推断出罕见或未知词汇（如 'STP' 和 'transilvania'）的含义。
• 在多跳推理任务中（如识别最大数值或关联文本与其物理载体），MM-GNN 通过有效融合多模态线索，显著优于基线模型。
• 图 5 中的注意力可视化表明，模型执行了逐步推理，注意力权重与每个问题对应的相关图像区域和文本标记清晰对齐。

Figure 2: Three example questions requiring leveraging different types of multi-modal contexts to answer the questions. Q1: the model should use visual context (the “EPIC” is a prominent word on the bottle) to infer the semantics of the word “EPIC”. Q2: the model should infer that “Ged” indicates th