[论文解读] MMKG: Multi-Modal Knowledge Graphs

Ye Liu, Hui Li+4 more|arXiv (Cornell University)|Mar 13, 2019

Advanced Graph Neural Networks参考文献 31被引用 6

一句话总结

本文提出了MMKG，一个包含Freebase15k、DBpedia15k和YAGO15k的多模态知识图谱数据集，每个数据集均通过SameAs链接整合了数值特征、图像和跨知识图谱的实体对齐。作者证明，结合视觉、数值和关系特征可显著提升SameAs链接预测性能，其中PoE-lrni模型在FB-DB上达到72.1 MRR和82.0 HITS@10，优于Concat和Ensemble等基线模型。

ABSTRACT

We present MMKG, a collection of three knowledge graphs that contain both numerical features and (links to) images for all entities as well as entity alignments between pairs of KGs. Therefore, multi-relational link prediction and entity matching communities can benefit from this resource. We believe this data set has the potential to facilitate the development of novel multi-modal learning approaches for knowledge graphs.We validate the utility ofMMKG in the sameAs link prediction task with an extensive set of experiments. These experiments show that the task at hand benefits from learning of multiple feature types.

研究动机与目标

• 解决缺乏同时包含图像、数值特征和跨知识图谱对齐的多模态知识图谱基准的问题，以支持链接预测与实体匹配任务。
• 为Freebase15k创建两个新知识图谱DBpedia15k和YAGO15k，通过多模态数据进行增强。
• 验证多模态特征（图像、数值、关系结构）是否能提升SameAs链接预测任务的性能。
• 提供一个标准化基准，用于评估多模态知识图谱补全方法。

提出的方法

• 通过现有SameAs链接将Freebase15k中的实体对齐至DBpedia和YAGO，再利用高阶邻居扩展以平衡实体数量，构建DBpedia15k和YAGO15k。
• 为所有三个知识图谱中的近似所有实体收集并链接图像URL和数值字面量。
• 设计基于产品专家（PoE）模型的多模态链接预测框架，整合图像、数值、关系和潜在嵌入。
• 在先前学习框架的基础上，将视觉和数值特征引入PoE架构，以建模多模态证据用于SameAs预测。
• 使用平均排名（Mean Rank）、Hits@n和平均倒数排名（MRR）评估模型，过滤设置根据SameAs任务进行调整。
• 通过移除单一模态（l, r, n, i）进行消融研究，评估其单独及联合贡献。

实验结果

研究问题

• RQ1 与单模态基线相比，多模态特征（图像、数值属性、关系结构）是否能提升SameAs链接预测性能？
• RQ2 不同模态组合（如图像+数值、图像+关系）在不同实体对齐水平下如何影响链接预测准确率？
• RQ3 通过PoE模型整合视觉与数值特征是否优于拼接或集成方法？
• RQ4 不同模态（图像、数值、关系、潜在）的贡献如何随知识图谱间已知对齐比例的变化而变化？
• RQ5 与简单拼接或集成策略相比，PoE框架在多模态知识图谱补全任务中是否更具有效性？

主要发现

• PoE-lrni模型（结合图像、关系和数值特征）在FB-DB对上达到72.1 MRR和82.0 HITS@10，显著优于Concat（2.1 MRR）和Ensemble（40.1 MRR）基线。
• PoE-rni模型在FB-YAGO对上达到63.5 MRR和74.6 HITS@10，表明其在不同知识图谱对上均表现强劲。
• 图像和数值特征单独均对性能有贡献，其中视觉特征在视觉差异性较高的情况下尤为有益，但性能在不同实体类型间存在差异。
• 消融研究显示，移除任一模态均导致性能下降，表明所有模态为SameAs预测任务提供了互补信息。
• PoE框架在所有评估指标和知识图谱对上均持续优于Concat和Ensemble基线，验证了其在融合多模态证据方面的有效性。
• 性能提升在对齐比例较高时（如80%）最为显著，表明当对齐监督有限时，多模态信号尤为关键。