[論文レビュー] ChatRule: Mining Logical Rules with Large Language Models for Knowledge Graph Reasoning

Linhao Luo, Jiaxin Ju+4 more|arXiv (Cornell University)|Sep 4, 2023

Advanced Graph Neural Networks被引用数 11

ひとこと要約

ChatRule は大規模言語モデルを用いて関係を知識グラフに結びつける論理ルールを生成・ランク付けし、それらのルールを用いて解釈可能なKG推論を行う。4つの大型データセットで強力なKG補完性能とルール品質を示す。

ABSTRACT

Logical rules are essential for uncovering the logical connections between relations, which could improve reasoning performance and provide interpretable results on knowledge graphs (KGs). Although there have been many efforts to mine meaningful logical rules over KGs, existing methods suffer from computationally intensive searches over the rule space and a lack of scalability for large-scale KGs. Besides, they often ignore the semantics of relations which is crucial for uncovering logical connections. Recently, large language models (LLMs) have shown impressive performance in the field of natural language processing and various applications, owing to their emergent ability and generalizability. In this paper, we propose a novel framework, ChatRule, unleashing the power of large language models for mining logical rules over knowledge graphs. Specifically, the framework is initiated with an LLM-based rule generator, leveraging both the semantic and structural information of KGs to prompt LLMs to generate logical rules. To refine the generated rules, a rule ranking module estimates the rule quality by incorporating facts from existing KGs. Last, the ranked rules can be used to conduct reasoning over KGs. ChatRule is evaluated on four large-scale KGs, w.r.t. different rule quality metrics and downstream tasks, showing the effectiveness and scalability of our method.

研究の動機と目的

• 自動的にマイニングされた論理ルールを通じて解釈可能なKG推論を動機づける。
• 意味情報と構造情報を活用して、意味的・構造的KG情報を用いてLLMにルール生成を促す。
• 低品質なルールを除外し、幻覚を減らすためのルールランキング機構を開発する。
• 追加のモデル学習なしで、KG補完のためのエンドツーエンドのルールベース推論を実現する。

提案手法

• KG から閉路パスのルール本体を抽出するための BFS ベースのルールサンプラーを構築する。
• サンプルされたルール本体を言語化し、LLM（例: ChatGPT）に候補ルールを生成させる。
• PCA ベースのルールランキング（サポート、カバレッジ、信頼度を含む）を適用して生成されたルールをフィルタリングする。
• ランキング済みルールを前向き連鎖型で用いて追加のモデルを学習させずにKG補完を行う。

実験結果

リサーチクエスチョン

• RQ1 LLM はKG推論のための意味的かつ意味情報を持つ論理ルールを生成できるか？
• RQ2 適切にランク付けされたSemantic-awareなLLM生成ルールは、最先端のベースラインと比較してKG補完とルール品質を改善するか？
• RQ3 PCA信頼度は不完全なKGに対して他の指標と比べてより優れたルール品質推定を提供するか？
• RQ4 既存のルールマイニング手法と比較して大規模KG上でのChatRuleパイプラインのスケーラビリティはどの程度か？

主な発見

方法	ファミリー MRR	ファミリー Hits@1	ファミリー Hits@10	UMLS MRR	UMLS Hits@1	UMLS Hits@10	WN18RR MRR	WN18RR Hits@1	WN18RR Hits@10	YAGO3-10 MRR	YAGO3-10 Hits@1	YAGO3-10 Hits@10
AMIE	0.778	0.683	0.891	0.312	0.195	0.560	0.162	0.060	0.278	0.012	0.008	0.021
Neural-LP	0.785	0.720	0.863	0.505	0.415	0.638	0.228	0.223	0.223	0.235	0. NaN?	NaN?
RNNLogic	0.860	0.792	0.957	0.750	0.630	0.924	0.216	0.183	0.275	0.OOM	0.OOM	0.OOM
NLIL	0.358	0.321	0.416	0.693	0.632	0.921	0.223	0.222	0.225	0.OOM	0.OOM	0.OOM
NCRL	0.826	0.725	0.963	0.728	0.576	0.938	0.316	0.272	0.397	0.234	0.181	0.334
Ruleformer	0.897	0.841	0.963	0.691	0.555	0.863	0.292	0.258	0.355	0.527	0.520	0.535
ChatRule (ChatGPT)	0.906	0.854	0.968	0.780	0.685	0.948	0.335	0.301	0.400	0.449	0.354	0.627

• ChatRule は複数のデータセットにおける KG 補完で最先端のベースラインを上回る。
• ルール品質指標（特に PCA 信頼度）は KG 補完性能の向上と相関する。
• マイニングされたルールは解釈可能で、意味的に意味のある関係およびプロンプトによって捉えられた逆/別名パターンを含む。
• PCAベースのランキングは、テストされた指標の中で総合的なルール品質と下流の性能を最も良く引き出す。
• ChatRule は多様なLLMやモデルサイズでも競争力を維持し、広い一般化可能性を示す。
• YAGO3-10 では、ChatRule（ChatGPT 使用）が、掲載手法の中で最高の MRR および Hits@1/10 を報告している。