[论文解读] End-to-End Learning on Multimodal Knowledge Graphs

W. X. Wilcke, Peter Bloem+2 more|arXiv (Cornell University)|Sep 3, 2023

Advanced Graph Neural Networks被引用 6

一句话总结

本文提出了一种多模态消息传递神经网络，能够从知识图谱中的结构关系和多种模态（数值、文本、时间、视觉、空间）数据中端到端地进行学习。通过使用模态特定的编码器将异构节点特征嵌入共享空间，该模型在节点分类和链接预测任务上显著提升了性能，且在AIFB+、MUTAG、YAGO3-10+和ML100k等多个数据集上均显示出统计显著性。

ABSTRACT

Knowledge graphs enable data scientists to learn end-to-end on heterogeneous knowledge. However, most end-to-end models solely learn from the relational information encoded in graphs' structure: raw values, encoded as literal nodes, are either omitted completely or treated as regular nodes without consideration for their values. In either case we lose potentially relevant information which could have otherwise been exploited by our learning methods. We propose a multimodal message passing network which not only learns end-to-end from the structure of graphs, but also from their possibly divers set of multimodal node features. Our model uses dedicated (neural) encoders to naturally learn embeddings for node features belonging to five different types of modalities, including numbers, texts, dates, images and geometries, which are projected into a joint representation space together with their relational information. We implement and demonstrate our model on node classification and link prediction for artificial and real-worlds datasets, and evaluate the effect that each modality has on the overall performance in an inverse ablation study. Our results indicate that end-to-end multimodal learning from any arbitrary knowledge graph is indeed possible, and that including multimodal information can significantly affect performance, but that much depends on the characteristics of the data.

研究动机与目标

• 解决现有端到端模型忽略或过度简化知识图谱中字面量节点特征的局限性。
• 实现在统一知识图谱框架内，直接从原始异构多模态数据（如数字、文本、日期、图像和几何信息）中进行学习。
• 设计一种消息传递神经网络，为每种模态配备定制化编码器，以保留不同类型数据之间的语义差异。
• 通过反向消融研究评估各模态对下游任务的影响，以确定哪些特征对性能贡献最大。

提出的方法

• 该模型采用多模态消息传递框架，处理关系结构以及五种不同模态：数值、文本、时间、视觉和空间特征。
• 每种模态均通过专用神经编码器（如使用BERT处理文本、CNN处理图像、位置编码处理坐标）生成模态感知表示。
• 通过聚合邻居信息的消息传递机制更新节点表示，将关系结构与模态特定嵌入在联合表示空间中进行整合。
• 模型支持两种配置：'合并字面量'（所有特征作为单个节点）和'分离字面量'（特征作为独立节点），以支持对模态贡献的消融研究。
• 与底层知识图谱模式无关，模型直接在带有数据类型注解的字面量的RDF格式图上运行。
• 通过真实世界和合成数据集对框架在节点分类和链接预测任务上的性能进行评估，并通过重复运行的p值检验统计显著性。

Figure 1: A simplified and incomplete example from the Dutch Monuments Graph showing a single monument with several attributes of different modalities.

实验结果

研究问题

• RQ1 能否有效将知识图谱的端到端学习扩展至除关系结构外的异构多模态特征？
• RQ2 不同模态（数值、文本、时间、视觉和空间）对链接预测和节点分类任务性能的个体与综合贡献如何？
• RQ3 根据模态类型（如将数值或图像作为特定类型）处理字面值，是否相比将其视为通用标识符，能带来统计显著的性能提升？
• RQ4 合并与分离字面量表示的选择如何影响模型性能与模态可解释性？
• RQ5 在不同知识图谱数据集中，哪些模态最具影响力？这种影响是否随数据特征而变化？

主要发现

• 在AIFB+和ML100k上，引入多模态特征显著提升了链接预测性能，p值分别为1.24×10⁻⁴和2.39×10⁻⁵，表明具有强统计显著性。
• 在ML100k上，使用多模态特征（结构+特征）的模型Hits@10达到0.137，而仅使用结构的模型Hits@10仅为0.014，性能提升显著。
• 在ML100k上，时间与文本特征贡献最强，Hits@10分别达到0.146和0.138，优于数值与视觉特征。
• 在YAGO3-10+上，添加多模态特征使Hits@10从仅结构的0.074降至0.044，但该差异仍具统计显著性（p = 9.50×10⁻⁴），表明其效益具有上下文依赖性。
• 反向消融研究显示，性能增益因数据集而异：在ML100k上，文本与时间特征影响最大；在AIFB+上，数值与时间特征表现突出。
• 在AIFB+与YAGO3-10+上，视觉与空间特征未表现出显著改进，表明其有效性取决于知识图谱中此类数据的存在性与质量。

Figure 2: Overview of how our model creates multimodal node embeddings for nodes $v_{1}$ to $v_{5}$ . Solid circles represent entities, whereas open shapes represent literals of different modalities. The nodes’ feature embeddings are learned using dedicated (neural) encoders (here $f$ , $g$ , and $h