[論文レビュー] MMKG: Multi-Modal Knowledge Graphs

Ye Liu, Hui Li+4 more|arXiv (Cornell University)|Mar 13, 2019

Advanced Graph Neural Networks参考文献 31被引用数 6

ひとこと要約

本稿では、Freebase15k、DBpedia15k、YAGO15kを含むマルチモーダル知識グラフデータセットMMKGを紹介する。各データセットは、SameAsリンクを介したクロスKGエンティティアライメントに加え、数値特徴量、画像、および関係的特徴量で拡張されている。著者らは、視覚的、数値的、関係的特徴量を組み合わせることでSameAsリンク予測の性能が著しく向上することを示し、PoE-lrniモデルがFB-DBで72.1 MRRおよび82.0 HITS@10を達成し、ConcatやEnsembleなどのベースラインを上回ることを確認した。

ABSTRACT

We present MMKG, a collection of three knowledge graphs that contain both numerical features and (links to) images for all entities as well as entity alignments between pairs of KGs. Therefore, multi-relational link prediction and entity matching communities can benefit from this resource. We believe this data set has the potential to facilitate the development of novel multi-modal learning approaches for knowledge graphs.We validate the utility ofMMKG in the sameAs link prediction task with an extensive set of experiments. These experiments show that the task at hand benefits from learning of multiple feature types.

研究の動機と目的

• リンク予測およびエンティティマッチングの分野において、画像、数値特徴量、およびクロスKGアライメントを含むマルチモーダル知識グラフベンチマークの不足に対処すること。
• Freebase15kに対応するDBpedia15kおよびYAGO15kの2つの新しい知識グラフを、マルチモーダルデータで拡張すること。
• マルチモーダル特徴量（画像、数値、関係的構造）がSameAsリンク予測タスクの性能向上に寄与するという仮説を検証すること。
• マルチモーダル知識グラフ補完手法を評価するための標準化されたベンチマークを提供すること。

提案手法

• 既存のSameAsリンクを用いてFreebase15kのエンティティをDBpediaおよびYAGOにアライメントし、エンティティ数のバランスを取るために高次数の近傍ノードを拡張することで、DBpedia15kおよびYAGO15kを構築した。
• 3つの知識グラフ全体にわたり、ほぼすべてのエンティティに対して画像URLおよび数値リテラルを収集・リンクした。
• 画像、数値、関係的、および潜在的埋め込みを統合する、Product of Experts (PoE) モデルに基づくマルチモーダルリンク予測フレームワークを設計した。
• 先行の学習フレームワークを拡張し、視覚的および数値的特徴量をPoEアーキテクチャに統合することで、SameAs予測のためのマルチモーダルエビデンスをモデル化した。
• Mean Rank、Hits@n、およびMean Reciprocal Rank (MRR) を用いてモデルを評価し、SameAsタスクに適合したフィルタリング設定を採用した。
• 個々のモダリティ（l, r, n, i）を除去することで、アブレーションスタディを実施し、それぞれの貢献度および統合的効果を評価した。

実験結果

リサーチクエスチョン

• RQ1 画像、数値属性、関係的構造といったマルチモーダル特徴量は、単一モダリティベースラインと比較してSameAsリンク予測の性能向上に寄与するか？
• RQ2 画像＋数値、画像＋関係的構造といった異なるモダリティの組み合わせが、エンティティアライメントの程度に応じてリンク予測精度にどのように影響を与えるか？
• RQ3 PoEベースのモデルによる視覚的および数値的特徴量の統合は、連結法やアンサンブル法よりも優れた性能を発揮するか？
• RQ4 画像、数値、関係的、潜在的特徴量といった個々のモダリティの貢献度は、KG間の既知のアライメント割合に応じてどのように変化するか？
• RQ5 マルチモーダル知識グラフ補完タスクにおいて、PoEフレームワークは単純な連結法やアンサンブル戦略よりも効果的か？

主な発見

• 画像、関係的、数値特徴量を統合したPoE-lrniモデルは、FB-DBペアで72.1 MRRおよび82.0 HITS@10を達成し、Concat（2.1 MRR）およびEnsemble（40.1 MRR）のベースラインを著しく上回った。
• PoE-rniモデルはFB-YAGOペアで63.5 MRRおよび74.6 HITS@10を達成し、異なるKGペア間でも優れた性能を示した。
• 画像および数値特徴量は個別に性能向上に寄与しており、視覚的特徴量は特に視覚的に明確に区別できるエンティティにおいて顕著な利点を示したが、エンティティタイプによって性能のばらつきが見られた。
• アブレーションスタディの結果、任意の1つのモダリティを除去すると性能が低下したため、すべてのモダリティがSameAs予測タスクにおいて補完的かつ有用な情報を提供していることが示された。
• PoEフレームワークは、すべての評価指標およびKGペアにおいて、ConcatおよびEnsembleベースラインを一貫して上回り、マルチモーダルエビデンス統合の有効性を裏付けた。
• 性能向上は特にアライメント割合が高い状況（例：80％）で顕著に現れ、アライメントの監視情報が限られる状況においてマルチモーダル信号が特に価値があることが示唆された。