[論文レビュー] Learning First-Order Rules with Relational Path Contrast for Inductive Relation Reasoning

Yudai Pan, Jun Liu+4 more|arXiv (Cornell University)|Oct 17, 2021

Advanced Graph Neural Networks参考文献 29被引用数 7

ひとこと要約

この論文では、知識グラフにおける帰納的関係推論のための、グラフ畳み込みネットワークに基づく新規手法RPC-IRを提案する。この手法は関係的経路対照学習を用いて解釈可能な一階論理規則を学習する。関係的経路を抽出し、自己教師付き学習を強化するための対照戦略を適用することで、RPC-IRは3つの帰納的データセットで最先端の性能を達成するとともに、解釈可能性を確保する論理的規則を明示的に表現する。

ABSTRACT

Relation reasoning in knowledge graphs (KGs) aims at predicting missing relations in incomplete triples, whereas the dominant paradigm is learning the embeddings of relations and entities, which is limited to a transductive setting and has restriction on processing unseen entities in an inductive situation. Previous inductive methods are scalable and consume less resource. They utilize the structure of entities and triples in subgraphs to own inductive ability. However, in order to obtain better reasoning results, the model should acquire entity-independent relational semantics in latent rules and solve the deficient supervision caused by scarcity of rules in subgraphs. To address these issues, we propose a novel graph convolutional network (GCN)-based approach for interpretable inductive reasoning with relational path contrast, named RPC-IR. RPC-IR firstly extracts relational paths between two entities and learns representations of them, and then innovatively introduces a contrastive strategy by constructing positive and negative relational paths. A joint training strategy considering both supervised and contrastive information is also proposed. Comprehensive experiments on three inductive datasets show that RPC-IR achieves outstanding performance comparing with the latest inductive reasoning methods and could explicitly represent logical rules for interpretability.

研究の動機と目的

• 帰納的知識グラフ推論におけるエンティティに依存しない関係的意味の課題に対処すること。
• 潜在的な規則の不足によるサブグラフにおける不十分な教師信号の課題を克服すること。
• 解釈可能な論理的一階規則を用いた帰納的推論を可能にすること。
• 特定のエンティティに依存しない関係列の意味を学習することで、未観測エンティティへの一般化を向上させること。
• 対照的関係的経路学習を用いて教師あり学習と自己教師付き学習を統合すること。

提案手法

• RPC-IRは、各サブグラフ内で所定の長さ以内のエンティティ間の関係的経路を抽出する。
• これらの経路をグラフ畳み込みネットワーク（GCN）を用いて表現し、エンティティに依存しない関係的意味を学習する。
• 正例および負例の関係的経路ペアを構築することで、自己教師付き信号を強化するための対照学習戦略を導入する。
• ラベル付き三項対からの教師あり損失と、正例／負例ペアからの対照損失を同時に最適化する。
• 高信頼度の関係的経路から一階規則を導出し、信頼度スコアが推論の信頼性を示す。
• 未観測エンティティに対して再トレーニングを必要とせず、サブグラフ構造の一般化により帰納的推論をサポートする。

実験結果

リサーチクエスチョン

• RQ1 関係的経路対照学習は、知識グラフにおける帰納的関係推論を改善できるか？
• RQ2 RPC-IRは、サブグラフ経路からエンティティに依存しない関係的意味をどれほど効果的に学習できるか？
• RQ3 教師あり学習と対照学習を統合することで、帰納的ベンチマークでの性能がどの程度向上するか？
• RQ4 モデルは推論予測を説明できる解釈可能な一階規則を生成できるか？
• RQ5 ハイパーパrameter λ₁ と λ₂ は、異なるデータセットで性能にどのように影響を与えるか？

主な発見

• RPC-IRは、WN18RR、FB15K-237、NELL-995という3つの完全な帰納的データセットで最先端の性能を達成した。
• FB15K-237_v1では、λ₁=0.8 および λ₂=0.8 の条件下でAUC-PRが0.82に達し、先行する帰納的手法を上回った。
• モデルは、'partOf(X,Z) ∧ locatedIn(Z,Y) → liveIn(X,Y)' といった明示的な一階規則を高い信頼度（例：1.00）で学習した。
• 事例研究では、信頼度が0.01未満の規則がフィルタリングされ、信頼性の高い規則抽出が実現した。
• ハイパーパrameter分析から、最適なλ₁およびλ₂の値はデータセットごとに異なり、FB15K-237ではバランスの取れた教師信号が最も効果的であった。
• 対照戦略により、サブグラフ内の疎な教師信号の問題が顕著に軽減され、性能が著しく向上した。