[論文レビュー] Multi-Modal Knowledge Graph Construction and Application: A Survey

Xiangru Zhu, Zhixu Li+6 more|arXiv (Cornell University)|Feb 11, 2022

Advanced Graph Neural Networks被引用数 15

ひとこと要約

本サーベイは、テキストと画像を統合するマルチモーダル知識グラフ（MMKG）の包括的概要を提供し、構築の課題、マルチモーダルタスクへの応用、および未解決の研究課題をカバーしている。本稿は、シンボルを視覚的データに接地する手法を体系的に分析し、実世界の応用におけるMMKGの評価を行い、品質、スケーラビリティ、および複雑な関係的接地における主なギャップを特定している。

ABSTRACT

Recent years have witnessed the resurgence of knowledge engineering which is featured by the fast growth of knowledge graphs. However, most of existing knowledge graphs are represented with pure symbols, which hurts the machine's capability to understand the real world. The multi-modalization of knowledge graphs is an inevitable key step towards the realization of human-level machine intelligence. The results of this endeavor are Multi-modal Knowledge Graphs (MMKGs). In this survey on MMKGs constructed by texts and images, we first give definitions of MMKGs, followed with the preliminaries on multi-modal tasks and techniques. We then systematically review the challenges, progresses and opportunities on the construction and application of MMKGs respectively, with detailed analyses of the strength and weakness of different solutions. We finalize this survey with open research problems relevant to MMKGs.

研究の動機と目的

• 純粋に記号論的な知識グラフが現実世界の理解を表現するのには限界があることを踏まえ、視覚的モダリティを統合することを目的とする。
• MMKGの構築における課題、特にシンボルの接地、画像品質、スケーラビリティを特定・分析することを目的とする。
• クロスモーダル検索、対話システム、オブジェクト検出などの下流のマルチモーダルタスクにおけるMMKGの応用を調査することを目的とする。
• 複雑な記号的接地、品質管理、大規模MMKGの展開における効率性に関する未解決問題を強調することを目的とする。
• 既存のMMKGを体系的にレビューし、その構築手法を比較し、異なるアプローチの強みと弱みを評価することを目的とする。

提案手法

• MMKGの構築を2つの方向に分類する：画像から記号への（画像ラベリング）と、記号から画像への（記号の画像への接地）。
• 視覚言語事前学習、視覚的意味的埋め込み、対照的学習などのマルチモーダル技術をレビューし、テキストと画像の表現を整合させる。
• 物体検出、画像キャプション生成、エンティティリンクなどのMMKG構築パイプラインを分析し、視覚的データと記号的データを結びつける。
• クロスモーダル検索、対話システム、医療画像処理などのタスクにおけるMMKGの応用を評価し、視覚的および記号的知識を活用する。
• 画像の関連性、一貫性、および長尾分布や抽象的エンティティのカバー範囲に基づいたMMKG品質評価フレームワークを提案する。
• 大規模なマルチメディアデータ処理における効率性の課題を議論し、スケーラブルなMMKG構築とリアルタイム推論のための考慮事項を提案する。

実験結果

リサーチクエスチョン

• RQ1 知識グラフ内の記号的知識を、画像や動画などの視覚的データに効果的に接地するにはどうすればよいか？
• RQ2 特に画像の関連性と一貫性に鑑みた、大規模で高品質なMMKGの構築における主な課題は何か？
• RQ3 クロスモーダル検索や対話システムなどの下流のマルチモーダルアプリケーションにおいて、MMKGはどのように性能を向上させることができるか？
• RQ4 部分グラフや関係的パスのような複雑な記号的構造を視覚的コンテンツに接地する際の未解決問題は何か？
• RQ5 実世界の展開を想定したMMKGの構築およびオンライン推論における効率性とスケーラビリティをどのように向上できるか？

主な発見

• MMKGは、エンティティや概念の視覚的接地を可能にすることで、テキスト生成や関係抽出などの下流タスクの性能を顕著に向上させる。
• MMKGでは画像品質の問題が広く見られる。代表的な問題として、『暗黒の森』の代わりに『流浪の地球』の画像が誤って表示される誤認知、『自己中』のような抽象的概念に対して不適切な画像が関連付けられる、および類似したエンティティ同士の混同が挙げられる。
• 家族関係を含むような複雑な記号的知識の接地は、一貫性があり多関係的である画像の整合性を必要とするため、依然として大きな課題である。
• スケーラビリティは深刻なボトル neck である。MMKGの構築には数十万時間のCPU時間が要されることがあり（例：NEILシステム）、動画ベースの接地はこの問題をさらに悪化させる。
• MMKGは、医療画像とテキスト記述を統合することで、COVID-19に特化した医療対話システムの精度を向上させ、身体的接触を減らす点で実世界の応用を強化する。
• 既存のMMKGは内容や構築手法において著しく異なるため、統一された基準がなく、品質評価とベンチマークフレームワークの向上が強く求められている。