[論文レビュー] Neural Compositional Rule Learning for Knowledge Graph Reasoning

Kewei Cheng, Nesreen K. Ahmed+1 more|arXiv (Cornell University)|Mar 7, 2023

Advanced Graph Neural Networks被引用数 15

ひとこと要約

NCRL は、知識グラフ推論の構成的論理規則を学習するエンドツーエンドのニューラルモデルであり、規則発見をスケーラブルにし、未知で大規模なグラフにも強い一般化を実現します。規則学習手法の中で最先端の結果を達成します。

ABSTRACT

Learning logical rules is critical to improving reasoning in KGs. This is due to their ability to provide logical and interpretable explanations when used for predictions, as well as their ability to generalize to other tasks, domains, and data. While recent methods have been proposed to learn logical rules, the majority of these methods are either restricted by their computational complexity and can not handle the large search space of large-scale KGs, or show poor generalization when exposed to data outside the training set. In this paper, we propose an end-to-end neural model for learning compositional logical rules called NCRL. NCRL detects the best compositional structure of a rule body, and breaks it into small compositions in order to infer the rule head. By recurrently merging compositions in the rule body with a recurrent attention unit, NCRL finally predicts a single rule head. Experimental results show that NCRL learns high-quality rules, as well as being generalizable. Specifically, we show that NCRL is scalable, efficient, and yields state-of-the-art results for knowledge graph completion on large-scale KGs. Moreover, we test NCRL for systematic generalization by learning to reason on small-scale observed graphs and evaluating on larger unseen ones.

研究の動機と目的

• 知識グラフにおける解釈可能な説明と一般化を提供するために、論理規則の学習を動機づける。
• 階層構造を通じて組成的な規則本体を発見し、規則頭を推論するニューラルフレームワークを提案する。
• 大規模な知識グラフへのスケーラビリティを確保し、未知のグラフに対する体系的な一般化を評価する。
• 学習した規則が既存の規則学習者を超えて知識グラフの補完と帰納的関係推論を改善することを示す。

提案手法

• 規則本体と頭部との意味的一致性を規則スコアとして定義する。
• 知識グラフからパスをサンプリングし、各パスをスライディングウィンドウ（サイズ2と3）で短い組合せに分割する。
• 選択した組合せを単一の述語に統合する再帰的アテンションユニットを用い、未出現のヘッドはヌル述語を介して許容する。
• 組合せのシーケンスを処理するRNNベースのエンコーダと、有意義な組合せを選択するソフトマックスベースのセレクタを用いる。
• スケールド・ドット積アテンションと対応する値射影を用いて、ルールヘッドのアテンションベースの尤度を計算する。
• 予測ヘッドに対するクロスエントロピー損失でエンドツーエンドに訓練し、上位スコアの規則を規則集合として抽出する。）

実験結果

リサーチクエスチョン

• RQ1 NCRL は、観測された学習グラフを超えて一般化する高品質な組成的規則を学習できるか。
• RQ2 NCRL は大規模な知識グラフへのスケーラビリティを持ち、既存の規則学習器と比較して効率的か。
• RQ3 NCRL は、より大規模で未知のグラフや長い推論パスに対して体系的な一般化を示すか。
• RQ4 最先端手法と比較して、NCRL はKG補完と帰納的リレーショナル推論タスクでどの程度性能を示すか。

主な発見

• NCRLは、KG補完の複数のベンチマークにおいて、規則学習法の中で最先端の結果を達成する。
• NCRLは強力な体系的一般化を提供し、より大規模な未知グラフや長い推論パスで良好な性能を発揮する。
• NCRLは他の規則学習ベースラインと比べて訓練時間が大幅に速く、スケーラビリティを示している。
• アブレーションとスパース性分析は、データのまばらさと規則数の変化の下でもNCRLが堅牢な性能を維持することを示す。
• ケーススタディは、述語の意味的グループ化と整合する多様で意味のある生成規則を示している。