[论文解读] Multi-Modal Knowledge Graph Construction and Application: A Survey

Xiangru Zhu, Zhixu Li+6 more|arXiv (Cornell University)|Feb 11, 2022

Advanced Graph Neural Networks被引用 15

一句话总结

本综述全面概述了整合文本与图像的多模态知识图谱（MMKGs），涵盖其构建挑战、在多模态任务中的应用，以及开放的研究问题。系统分析了将符号映射到视觉数据的方法，评估了MMKG在实际应用中的表现，并指出了在质量、可扩展性以及复杂关系映射方面的主要差距。

ABSTRACT

Recent years have witnessed the resurgence of knowledge engineering which is featured by the fast growth of knowledge graphs. However, most of existing knowledge graphs are represented with pure symbols, which hurts the machine's capability to understand the real world. The multi-modalization of knowledge graphs is an inevitable key step towards the realization of human-level machine intelligence. The results of this endeavor are Multi-modal Knowledge Graphs (MMKGs). In this survey on MMKGs constructed by texts and images, we first give definitions of MMKGs, followed with the preliminaries on multi-modal tasks and techniques. We then systematically review the challenges, progresses and opportunities on the construction and application of MMKGs respectively, with detailed analyses of the strength and weakness of different solutions. We finalize this survey with open research problems relevant to MMKGs.

研究动机与目标

• 通过整合视觉模态来解决纯符号知识图谱在表征现实世界理解方面的局限性。
• 识别并分析MMKG构建中的挑战，包括符号映射、图像质量以及可扩展性问题。
• 探索MMKG在下游多模态任务中的应用，如跨模态检索、对话系统和目标检测。
• 突出复杂符号映射、质量控制以及大规模MMKG部署效率方面的开放性问题。
• 系统性地回顾现有MMKG，比较其构建方法，并评估不同方法的优势与劣势。

提出的方法

• 将MMKG构建分为两个方向：图像到符号（图像标注）和符号到图像（符号在图像中的映射）。
• 回顾多模态技术，如视觉-语言预训练、视觉-语义嵌入以及对比学习，用于对齐文本与图像表征。
• 分析涉及目标检测、图像字幕生成和实体链接的MMKG构建流程，以连接视觉与符号数据。
• 通过利用视觉与文本知识，评估MMKG在跨模态检索、对话系统和医学影像等任务中的应用。
• 提出一种基于图像相关性、一致性以及对长尾或抽象实体覆盖度的MMKG质量评估框架。
• 讨论处理大规模多媒体数据时的效率挑战，并提出可扩展MMKG构建与实时推理的考虑因素。

实验结果

研究问题

• RQ1 如何有效将知识图谱中的符号知识映射到图像和视频等视觉数据？
• RQ2 在构建大规模、高质量MMKG时，关键挑战是什么，特别是图像相关性与一致性的挑战？
• RQ3 MMKG在提升下游多模态应用（如跨模态检索和对话系统）性能方面有哪些方式？
• RQ4 将复杂符号结构（如子图或关系路径）映射到视觉内容方面，存在哪些开放性问题？
• RQ5 如何提升MMKG构建与在线推理的效率与可扩展性，以支持实际部署？

主要发现

• MMKG通过实现实体与概念的视觉映射，显著提升了文本生成与关系抽取等下游任务的性能。
• MMKG中普遍存在图像质量问题，常见问题包括误标（如将《三体》误标为《流浪地球》）、对抽象概念（如“傲慢”）使用不相关图像，以及对密切相关的实体产生混淆。
• 复杂符号知识（如涉及家庭关系的子图）的映射仍是主要挑战，原因在于需要一致且多关系的图像对齐。
• 可扩展性是关键瓶颈：MMKG构建可能需要数十万小时的CPU计算时间（如NEIL系统），而基于视频的映射进一步加剧了这一问题。
• MMKG通过整合医学图像与文本描述，提升了真实世界应用的性能，例如用于COVID-19的医学对话系统，提高了准确性并减少了物理接触。
• 现有MMKG在内容与构建方法上差异显著，缺乏统一标准，凸显了改进评估与基准测试框架的迫切需求。