[論文レビュー] Inductive Relation Prediction on Knowledge Graphs.

Komal K. Teru, William L. Hamilton|arXiv (Cornell University)|Nov 16, 2019

Advanced Graph Neural Networks参考文献 11被引用数 11

ひとこと要約

GraIL は、局所的な部分グラフ構造に対する推論を通じて、エンティティに依存しない関係的意味を学習する、知識グラフにおける誘導的関係予測のためのグラフニューラルネットワークフレームワークである。誘導的設定ではルール誘導ベースラインを上回り、トランスダクティブ設定では埋め込みモデルとアンサンブルすることで顕著な向上を示し、補完的な誘導バイアスを示している。

ABSTRACT

The dominant paradigm for relation prediction in knowledge graphs involves learning and operating on latent representations (i.e., embeddings) of entities and relations. However, these embedding-based methods do not explicitly capture the compositional logical rules underlying the knowledge graph, and they are limited to the transductive setting, where the full set of entities must be known during training. Here, we propose a graph neural network based relation prediction framework, GraIL, that reasons over local subgraph structures and has a strong inductive bias to learn entity-independent relational semantics. Unlike embedding-based models, GraIL is naturally inductive and can generalize to unseen entities and graphs after training. We provide theoretical proof and strong empirical evidence that GraIL can represent a useful subset of first-order logic and show that GraIL outperforms existing rule-induction baselines in the inductive setting. We also demonstrate significant gains obtained by ensembling GraIL with various knowledge graph embedding methods in the transductive setting, highlighting the complementary inductive bias of our method.

研究の動機と目的

• 埋め込みベース手法が未学習エンティティに一般化できないという限界を克服するため、関係予測のための誘導学習フレームワークを開発すること。
• 構造的で部分グラフに基づく推論メカニズムを通じて、知識グラフ内の合成的論理規則を明示的に捉えること。
• 誘導的設定において有用な一階論理の部分集合を表現できる理論的根拠のある手法を提供すること。
• 既存のルール誘導ベースラインと比較して、誘導的関係予測において優れたパフォーマンスを示すこと。

提案手法

• GraIL は、エンティティペアを中心とする局所的部分グラフ構造上で動作するグラフニューラルネットワークを採用し、関係を予測する。
• メッセージパッシング機構を用いて近隣情報の集約を行い、関係的推論に適した構造的パターンを捉える。
• 誘導バイアスを組み込んだ設計により、訓練時に見られなかったエンティティやグラフに対しても一般化が可能である。
• 部分グラフパターンの関係予測に対するスコアリング関数を学習可能に組み込んでいる。
• 理論的に、GraIL が知識グラフにおける論理的推論を支援する有用な一階論理の部分集合を表現できることを示している。
• GraIL を知識グラフ埋め込みモデルとアンサンブルすることで、トランスダクティブ設定でのパフォーマンスが向上し、補完的な誘導バイアスがあることが示された。

実験結果

リサーチクエスチョン

• RQ1 グラフニューラルネットワークフレームワークは、知識グラフにおける局所的部分グラフ推論を通じて、エンティティに依存しない関係的意味を学習できるか？
• RQ2 GraIL の誘導的設計は、トランスダクティブな埋め込みベース手法とは異なり、未学習のエンティティやグラフへの一般化を可能にするか？
• RQ3 GraIL は、知識グラフにおける合成的論理規則をどの程度正確に表現し、推論できるか？
• RQ4 GraIL は、既存のルール誘導ベースラインと比較して、誘導的関係予測設定でどの程度優れた性能を示すか？
• RQ5 トランスダクティブ設定において、GraIL を知識グラフ埋め込みモデルとアンサンブルすることで、どの程度のパフォーマンス向上が達成できるか？

主な発見

• GraIL は、未学習エンティティへの一般化が強く、誘導的設定で既存のルール誘導ベースラインを上回っている。
• フレームワークは、理論的根拠を提示し、有用な一階論理の部分集合を表現できることを示している。
• 実験的結果から、GraIL はトランスダクティブ設定でさまざまな知識グラフ埋め込み手法とアンサンブルすることで顕著な向上を示している。
• GraIL の誘導的性質により、訓練時に見られなかった新しいエンティティやグラフに対しても、効果的に一般化できる。
• GraIL と埋め込みモデルの間には補完的な誘導バイアスがあり、組み合わせることでパフォーマンスが向上し、多様な推論メカニズムの価値が浮き彫りになった。