[論文レビュー] End-to-End Learning on Multimodal Knowledge Graphs

W. X. Wilcke, Peter Bloem+2 more|arXiv (Cornell University)|Sep 3, 2023

Advanced Graph Neural Networks被引用数 6

ひとこと要約

本稿では、知識グラフ内の構造的関係および多様なモダリティ（数値、テキスト、時系列、視覚、空間）から、エンドツーエンドで学習するマルチモーダル・メッセージパッシングニューラルネットワークを提案する。異種のノード特徴量を共有空間に埋め込むためにモダリティ固有のエンコーダーを用いることで、AIFB+、MUTAG、YAGO3-10+、ML100kを含む複数のデータセットで統計的に有意な性能向上を達成し、ノード分類およびリンク予測の両タスクで顕著な改善が見られた。

ABSTRACT

Knowledge graphs enable data scientists to learn end-to-end on heterogeneous knowledge. However, most end-to-end models solely learn from the relational information encoded in graphs' structure: raw values, encoded as literal nodes, are either omitted completely or treated as regular nodes without consideration for their values. In either case we lose potentially relevant information which could have otherwise been exploited by our learning methods. We propose a multimodal message passing network which not only learns end-to-end from the structure of graphs, but also from their possibly divers set of multimodal node features. Our model uses dedicated (neural) encoders to naturally learn embeddings for node features belonging to five different types of modalities, including numbers, texts, dates, images and geometries, which are projected into a joint representation space together with their relational information. We implement and demonstrate our model on node classification and link prediction for artificial and real-worlds datasets, and evaluate the effect that each modality has on the overall performance in an inverse ablation study. Our results indicate that end-to-end multimodal learning from any arbitrary knowledge graph is indeed possible, and that including multimodal information can significantly affect performance, but that much depends on the characteristics of the data.

研究の動機と目的

• 既存のエンドツーエンドモデルが知識グラフ内のリテラルノード特徴量を無視または単純化しているという制限を解決すること。
• 数値、テキスト、日付、画像、幾何学的形状などの生の異種マルチモーダルデータを、統一された知識グラフフレームワーク内で直接学習可能にする。
• 各モダリティに特化したエンコーダーを用いて、異なるデータタイプ間の意味的差異を保持するメッセージパッシングニューラルネットワークを設計すること。
• 逆アブレーションスタディを用いて、各モダリティが下流タスクに与える影響を評価し、性能向上に寄与する主な特徴量を特定すること。

提案手法

• 本モデルは、関係構造と5つの異なるモダリティ（数値、テキスト、時系列、視覚、空間特徴）を処理するマルチモーダル・メッセージパッシングフレームワークを採用する。
• 各モダリティは、専用のニューラルエンコーダー（例：テキストにはBERT、画像にはCNN、座標には位置エンコーディング）を用いて、モダリティに配慮した表現を生成する。
• ノード表現は、隣接ノードからの情報を集約するメッセージパッシングにより更新され、関係構造とモダリティ固有の埋め込みを統合した共同表現空間に統合される。
• 本モデルは2つの構成をサポートする：'マージド・リテラル'（すべての特徴量を1つのノードとして扱う）と'split literal'（特徴量を別々のノードとして扱う）で、モダリティ寄与度のアブレーションスタディが可能となる。
• 基礎となる知識グラフスキーマに依存せず、データ型アノテーションが付与されたリテラルを備えたRDF形式のグラフを直接処理可能である。
• 本フレームワークは、実世界および合成データセットを用いたノード分類およびリンク予測の評価を実施し、繰り返し実行からのp値を用いて統計的有意性を評価した。

Figure 1: A simplified and incomplete example from the Dutch Monuments Graph showing a single monument with several attributes of different modalities.

実験結果

リサーチクエスチョン

• RQ1 知識グラフにおけるエンドツーエンド学習は、関係構造を超えて異種マルチモーダル特徴量（数値、テキスト、時系列、視覚、空間）を効果的に統合できるか？
• RQ2 数値、テキスト、時系列、視覚、空間といった異なるモダリティが、リンク予測およびノード分類タスクにおけるモデル性能に個別および総合的にどのように寄与するか？
• RQ3 リテラル値をそのモダリティ（例：数値や画像）に応じて処理することで、汎用的識別子として扱う場合と比較して、統計的に有意な性能向上が得られるか？
• RQ4 マージドとスプリットのリテラル表現の選択が、モデル性能およびモダリティの解釈可能性にどのように影響するか？
• RQ5 異なる知識グラフデータセットにおいて、どのモダリティが最も影響力を持っており、これはデータの特性に依存するか？

主な発見

• AIFB+とML100kにおいて、マルチモーダル特徴量の統合によりリンク予測性能が顕著に向上し、それぞれp値が1.24×10⁻⁴および2.39×10⁻⁵に達し、強い統計的有意性を示した。
• ML100kでは、マルチモーダル特徴量（構造＋特徴量）を用いた場合のHits@10が0.137に達したのに対し、構造のみの場合は0.014に留まり、顕著な性能向上が確認された。
• ML100kでは、時系列およびテキスト特徴量が最も強く寄与し、Hits@10はそれぞれ0.146および0.138に達した。数値および視覚特徴量を上回った。
• YAGO3-10+では、マルチモーダル特徴量の追加によりHits@10が構造のみの0.074から0.044に低下したが、p = 9.50×10⁻⁴という統計的有意性を示し、文脈依存的な利点があることを示唆した。
• 逆アブレーションスタディの結果、性能向上の寄与度はデータセットによって異なり、ML100kではテキストおよび時系列特徴量が最も影響力が大きく、AIFB+では数値および時系列特徴量が顕著な効果を示した。
• AIFB+およびYAGO3-10+では、視覚的および空間的特徴量に顕著な改善が見られなかったため、これらの特徴量の有効性は、知識グラフ内での存在と品質に依存することが示唆された。

Figure 2: Overview of how our model creates multimodal node embeddings for nodes $v_{1}$ to $v_{5}$ . Solid circles represent entities, whereas open shapes represent literals of different modalities. The nodes’ feature embeddings are learned using dedicated (neural) encoders (here $f$ , $g$ , and $h