[論文レビュー] Subgraph Neighboring Relations Infomax for Inductive Link Prediction on Knowledge Graphs

Xiaohan Xu, Peng Zhang+3 more|arXiv (Cornell University)|Jul 28, 2022

Advanced Graph Neural Networks被引用数 7

ひとこと要約

本稿では、知識グラフにおける誘導的リンク予測のための新しいインダクティブモデルであるSubgraph Neighboring Relations Infomax (SNRI)を提案する。SNRIは、完全な隣接関係的特徴量と経路を活用することで、未観測エンティティやスパースな部分グラフにおける一般化性能を向上させる。相互情報量最大化を用いてグローバルな関係的構造をモデル化することで、特に低密度部分グラフにおいて最先端手法を顕著に上回り、包括的な隣接関係の活用の有効性を示している。

ABSTRACT

Inductive link prediction for knowledge graph aims at predicting missing links between unseen entities, those not shown in training stage. Most previous works learn entity-specific embeddings of entities, which cannot handle unseen entities. Recent several methods utilize enclosing subgraph to obtain inductive ability. However, all these works only consider the enclosing part of subgraph without complete neighboring relations, which leads to the issue that partial neighboring relations are neglected, and sparse subgraphs are hard to be handled. To address that, we propose Subgraph Neighboring Relations Infomax, SNRI, which sufficiently exploits complete neighboring relations from two aspects: neighboring relational feature for node feature and neighboring relational path for sparse subgraph. To further model neighboring relations in a global way, we innovatively apply mutual information (MI) maximization for knowledge graph. Experiments show that SNRI outperforms existing state-of-art methods by a large margin on inductive link prediction task, and verify the effectiveness of exploring complete neighboring relations in a global way to characterize node features and reason on sparse subgraphs.

研究の動機と目的

• 従来の誘導的リンク予測手法が囲繞部分グラフにのみ依存し、完全な隣接関係を無視するという限界を是正すること。
• 従来手法が失敗する、スパースまたは空の囲繞部分グラフにおける性能向上。
• 直近の部分グラフを超えた包括的な関係的文脈を統合することで、エンティティ表現の向上。
• 相互情報量最大化を用いて、グローバルに長距離の関係的依存関係をモデル化すること。
• 知識グラフにおける未観測エンティティやスパースな部分グラフにおいて、頑健な誘導的推論を達成すること。

提案手法

• SNRIは各トリプルに対して囲繞部分グラフを抽出するが、エンティティ表現にあたってすべての隣接関係を保持する。
• 完全な関係的近傍を対象に注意メカニズムを用いた集約により、隣接関係的特徴量を計算する。
• 囲繞部分グラフ外の関係を用いて、スパースな部分グラフをモデル化するための隣接関係的経路を構築する。
• 局所的部分グラフ表現とグローバル関係的経路表現を一致させるために、相互情報量最大化を適用する。
• 共同学習戦略により、局所的部分グラフモデリングとグローバル関係的経路学習を同時に最適化する。
• 対照的学習の目的関数を用いて、部分グラフ表現と関係的経路表現間の相互情報量を最大化する。

実験結果

リサーチクエスチョン

• RQ1 囲繞部分グラフを超えた完全な隣接関係を統合することで、誘導的リンク予測の性能が向上するか？
• RQ2 相互情報量最大化は、誘導的推論のためのグローバル関係的構造を捉えるのにどの程度有効か？
• RQ3 囲繞部分グラフが空または最小限のスパース部分グラフにおいて、モデルはより良い一般化性能を示すか？
• RQ4 隣接関係的特徴量と隣接関係的経路の両者、どちらがモデル性能向上に寄与しているか？
• RQ5 モデルは意味的かつ情報的な関係的経路を学習できるか？

主な発見

• SNRIは、WN18RR v1およびv4の両方で最先端性能を達成し、Hits@10スコアはそれぞれ87.23および83.32を記録し、先行SOTA手法を上回った。
• 低密度部分グラフにおいても、特に最もスパースな範囲で顕著な性能差を示し、スパarsityに対する頑健性を確認した。
• アブレーションスタディの結果、隣接関係的特徴量を削除すると性能が0.7%低下し、表現力のあるノード表現におけるその重要性を示した。
• 隣接関係的経路を省略するとより大きな性能低下が生じ、スパース部分グラフの処理においてその役割が極めて重要であることを示した。
• 相互情報量最大化を削除すると、Hits@10の平均で1.7%の低下が生じ、グローバル構造モデリングの価値を裏付けた。
• ケーススタディにより、SNRIは意味的のある関係的経路を学習しており、(related_form, related_form, _also_see)のような情報量の多い多関係的経路に高い重みを割り当てていることが確認された。