[論文レビュー] Inductive Relation Prediction by Subgraph Reasoning

Komal K. Teru, Etienne Denis+1 more|arXiv (Cornell University)|Nov 16, 2019

Advanced Graph Neural Networks参考文献 32被引用数 64

ひとこと要約

GraIL は、対象ノードペアを囲むサブグラフを推論することで帰納的なリレーション予測を行う GNN ベースのフレームワークであり、未見のエンティティとグラフへの一般化を可能にし、 embeddings ベースの手法とアンサンブルすることで補完的な利得を得る。

ABSTRACT

The dominant paradigm for relation prediction in knowledge graphs involves learning and operating on latent representations (i.e., embeddings) of entities and relations. However, these embedding-based methods do not explicitly capture the compositional logical rules underlying the knowledge graph, and they are limited to the transductive setting, where the full set of entities must be known during training. Here, we propose a graph neural network based relation prediction framework, GraIL, that reasons over local subgraph structures and has a strong inductive bias to learn entity-independent relational semantics. Unlike embedding-based models, GraIL is naturally inductive and can generalize to unseen entities and graphs after training. We provide theoretical proof and strong empirical evidence that GraIL can represent a useful subset of first-order logic and show that GraIL outperforms existing rule-induction baselines in the inductive setting. We also demonstrate significant gains obtained by ensembling GraIL with various knowledge graph embedding methods in the transductive setting, highlighting the complementary inductive bias of our method.

研究の動機と目的

• 埋め込みベースの手法の限界に対処し、未見のエンティティへ一般化する帰納的リレーション予測の必要性を動機づける。
• エンティティに依存しない関係意味を学習するサブグラフベースの GNN フレームワーク GraIL を提案する。
• GraIL が一階論理規則の一部をエンコードできることを示し、帰納的ベースラインを上回る。
• GraIL をKG埋め込みとアンサンブルすることで、転写的設定において改善を達成することを示す。
• 新しい帰納的ベンチマークデータセットを提供し、アブレーションによって構成要素を分析する。

提案手法

• 2つのターゲットノードのk近傍を交差させて候補三重項の包絡サブグラフを抽出し、それらの間の短い経路上のノードへと剪定する。
• サブグラフ内のノードをダブル・ラディウス・ラベリングでターゲットノードまでの距離を捉え、外部属性なしでノード特徴の初期化を可能にする。
• 多関係メッセージパッシングとエッジタイプに対するアテンションを用いたGNNで三重項をスコア付けし、その後サブグラフ表現のプーリングとターゲットノードおよび関係埋め込みとの結合を経て最終スコアを算出する。
• 先頭または末尾エンティティを置換してネガティブサンプリングを行い、マージン付きヒンジ損失で訓練する。
• GraIL が経路ベースの論理規則をエンコードできることを証明し、必要に応じて特定のクエリに対して満たされる規則の数を近似する（Theorem 1 and Corollary 1）。
• ロバスト性と表現力を高めるために、JK結合とベース共有を任意で用いる。

実験結果

リサーチクエスチョン

• RQ1 GraIL はノード属性を使用せずに局所的なサブグラフ構造を推論することで帰納的なリレーション予測を実行できるか。
• RQ2 標準KGデータセットから派生した完全帰納的ベンチマークで、GraILは既存の帰納的ベースライン（NeuralLP, DRUM, RuleN）とどう比較されるか。
• RQ3 GraIL は埋め込みベースのKG補完モデルと組み合わせた転写的設定で補完的な利点を提供するか。
• RQ4 GraIL の性能に最も影響を与える構成要素（サブグラフ抽出、ノードラベリング、アテンション）はどれか。

主な発見

• GraIL は、WN18RR、FB15k-237、NELL-995 に基づく帰納的ベンチマークで、AUC-PR および Hits@10 に関して最先端の帰納的ベースライン（NeuralLP、DRUM、RuleN）を大きく上回る。
• GraIL をさまざまなKG埋め込みとアンサンブルすることで、WN18RR、FB15k-237、NELL-995 にまたがる転写的なリレーション予測で一貫した改善を生み出し、いくつかのデータセットで最良の単独埋め込み手法を上回る。
• アブレーション研究は、包絡サブグラフ抽出、ダブル・ラディウス・ノードラベリング、GNN のアテンションがすべて重要であることを示し、特にサブグラフ抽出とラベリングの影響が大きい。
• 理論的分析（Theorem 1 および Corollary 1）により、GraIL が経路ベースの幅広い論理規則をエンコードし、特定のクエリに対して満たされる規則の数をカウントできることが示される。