[論文レビュー] Knowledge Graphs Meet Multi-Modal Learning: A Comprehensive Survey

Zhuo Chen, Yichi Zhang+13 more|arXiv (Cornell University)|Feb 8, 2024

Advanced Graph Neural Networks被引用数 28

ひとこと要約

KG 主導の多モーダル学習 (KG4MM) と多モーダル知識グラフ (MMKG) を分析する包括的な調査で、300件超の研究を網羅し、構築、タスク、ベンチマーク、課題、LLMs および多モーダル事前学習を含む動向を概説する。

ABSTRACT

Knowledge Graphs (KGs) play a pivotal role in advancing various AI applications, with the semantic web community's exploration into multi-modal dimensions unlocking new avenues for innovation. In this survey, we carefully review over 300 articles, focusing on KG-aware research in two principal aspects: KG-driven Multi-Modal (KG4MM) learning, where KGs support multi-modal tasks, and Multi-Modal Knowledge Graph (MM4KG), which extends KG studies into the MMKG realm. We begin by defining KGs and MMKGs, then explore their construction progress. Our review includes two primary task categories: KG-aware multi-modal learning tasks, such as Image Classification and Visual Question Answering, and intrinsic MMKG tasks like Multi-modal Knowledge Graph Completion and Entity Alignment, highlighting specific research trajectories. For most of these tasks, we provide definitions, evaluation benchmarks, and additionally outline essential insights for conducting relevant research. Finally, we discuss current challenges and identify emerging trends, such as progress in Large Language Modeling and Multi-modal Pre-training strategies. This survey aims to serve as a comprehensive reference for researchers already involved in or considering delving into KG and multi-modal learning research, offering insights into the evolving landscape of MMKG research and supporting future work.

研究の動機と目的

• 知識グラフ（KG）と多モーダル知識グラフ（MMKG）の基礎概念を定義する。
• KG構築の進展とMMKG構築パラダイムを調査する。
• KG主導の多モーダル学習タスクと内在的MMKGタスクを、ベンチマークと洞察とともに分類・分析する。
• KG4MMおよびMM4KGタスク、ベンチマーク、課題と機会を検討し、LLMsおよび多モーダル事前学習を含める。
• KG強化多モーダル推論と横断モーダル知識表現の今後の研究ロードマップを提供する。

提案手法

• 2020年から2023年にかけて、KGと多モーダル学習に関連する300件を超える論文の系統的文献調査。
• KG4MMタスクの構造化分類（理解・推論、分類、コンテンツ生成、検索、マルチモーダル事前学習）。
• MMKGタスクの構造化分類（取得、融合、推論、MMKG主導タスク）。
• MMKG表現の定義（A-MMKGとN-MMKG）とその構築パラダイム。
• LLMとMMKGの相互作用を含む、課題・機会・新興トレンドの批判的分析。
• KG対応の多モーダル研究を行うためのベンチマーク、評価指標、実践的ガイドラインの統合。

実験結果

リサーチクエスチョン

• RQ1 KGとMMKGのコア概念と定義は何であり、それらは多モーダル学習とどのように関連するか？
• RQ2 KGはどのように構築され、MMKG構築のパラダイムは何か？
• RQ3 主要なKG4MMおよびMM4KGタスク、データセット、ベンチマーク、評価手法は何か？
• RQ4 KGと多モーダル学習の統合における現在の課題と機会、LLMsがこの領域に与える影響は何か？
• RQ5 より堅牢な推論システムへ向けて、KGと多モーダル学習を統合する将来の方向性は何か？

主な発見

• KGは象徴的で構造化された知識を提供し、多モーダル知覚を補完し、ロングテール知識と推論タスクに対処するのに役立つ。
• MMKGは画像や他のモダリティをエンティティまたは属性として表現することでKGを多モーダル領域に拡張し、モダリティ間推論と検索を可能にする。
• 理解・推論、分類、コンテンツ生成、検索、事前学習にまたがる幅広いタスクがあり、MMKG対応の事前学習とLLM統合への関心が高まっている。
• MMKGの構築パラダイムには、画像にKG記号を付与する方法とKG記号を画像へグラウンディングする方法があり、グラウンディングが大規模MMKGで優勢なアプローチである。
• 本調査は、LLMおよび多モーダル事前学習戦略など、KG4MMとMM4KGの研究双方に影響を与える新たな動向を強調している。
• 本論文はロードマップを提供し、急速なLLMの進歩時代におけるKG4MMおよびMM4KGの成長を持続させるための未解決の課題を特定している。