[논문 리뷰] ChatRule: Mining Logical Rules with Large Language Models for Knowledge Graph Reasoning

Linhao Luo, Jiaxin Ju외 4명|arXiv (Cornell University)|2023. 09. 04.

Advanced Graph Neural Networks인용 수 11

한 줄 요약

ChatRule은 대형 언어 모델을 사용해 지식 그래프의 관계를 연결하는 논리 규칙을 생성하고 순위를 매긴 다음, 이 규칙을 해석 가능한 KG 추론에 활용한다; 네 개의 대규모 데이터셋에서 강한 KG 완성 성능과 규칙 품질을 보여준다.

ABSTRACT

Logical rules are essential for uncovering the logical connections between relations, which could improve reasoning performance and provide interpretable results on knowledge graphs (KGs). Although there have been many efforts to mine meaningful logical rules over KGs, existing methods suffer from computationally intensive searches over the rule space and a lack of scalability for large-scale KGs. Besides, they often ignore the semantics of relations which is crucial for uncovering logical connections. Recently, large language models (LLMs) have shown impressive performance in the field of natural language processing and various applications, owing to their emergent ability and generalizability. In this paper, we propose a novel framework, ChatRule, unleashing the power of large language models for mining logical rules over knowledge graphs. Specifically, the framework is initiated with an LLM-based rule generator, leveraging both the semantic and structural information of KGs to prompt LLMs to generate logical rules. To refine the generated rules, a rule ranking module estimates the rule quality by incorporating facts from existing KGs. Last, the ranked rules can be used to conduct reasoning over KGs. ChatRule is evaluated on four large-scale KGs, w.r.t. different rule quality metrics and downstream tasks, showing the effectiveness and scalability of our method.

연구 동기 및 목표

• 자동으로 채굴된 논리 규칙을 통해 해석 가능한 KG 추론의 필요성을 제시한다.
• 의미적 및 구조적 KG 정보를 활용해 LLM에 규칙 생성을 유도한다.
• 저질 규칙을 걸러내고 환각을 줄이기 위한 규칙 순위 매기기 메커니즘을 개발한다.
• 추가 모델 훈련 없이 KG 완성을 위한 엔드투엔드 규칙 기반 추론을 가능하게 한다.

제안 방법

• KG에서 닫힌 경로(rule bodies)를 추출하기 위해 BFS 기반의 규칙 샘플러를 구성한다.
• 샘플링된 규칙 바디를 말로 표현하고 LLM(예: ChatGPT)에 후보 규칙 생성을 요청한다.
• 생성된 규칙을 필터링하기 위해 PCA 기반 규칙 순위를 적용한다(지지도, 커버리지, 신뢰도 포함).
• 순위가 매겨진 규칙을 순방향 체인 방식으로 KG 완성에 사용하되 추가 모델 훈련 없이 수행한다.

실험 결과

연구 질문

• RQ1 LLMs가 KG 추론을 위해 의미 있고 의미론적으로 정보에 기반한 논리 규칙을 생성할 수 있는가?
• RQ2 적절히 순위 매겨진 의미론적으로 인식된 LLM 생성 규칙이 최첨단 벤치마크 대비 KG 완성과 규칙 품질을 향상시키는가?
• RQ3 PCA 신뢰도가 불완전한 KG에 대해 다른 지표와 비교해 우수한 규칙 품질 추정치를 제공하는가?
• RQ4 다른 규칙 마이닝 방법과 비교해 대규모 KG에서 ChatRule 파이프라인의 확장성은 어느 정도인가?”],
• RQ5 key_findings:[
• RQ6 ChatRule은 KG 완성에서 다수 데이터셋에 대해 최첨단 벤치마크를 능가한다.
• RQ7 규칙 품질 지표(특히 PCA 신뢰도)는 KG 완성 성능의 향상과 상관관계가 있다.
• RQ8 발굴된 규칙은 해석 가능하며, 프롬프트로 의미론적으로 의미 있는 관계 및 역/별칭 패턴을 포착한다.
• RQ9 PCA 기반 순위 매김이 테스트된 지표 중 최상의 전반적 규칙 품질과 하류 성능을 보인다.
• RQ10 ChatRule은 서로 다른 LLM 및 모델 규모에서도 경쟁력을 유지하며 일반화 가능성이 넓음을 시사한다.
• RQ11 YAGO3-10에서 ChatGPT를 사용한 ChatRule이 열거된 방법 중 가장 높은 MRR 및 Hits@1/10를 달성했다.

주요 결과

방법	패밀리 MRR	패밀리 Hits@1	패밀리 Hits@10	UMLS MRR	UMLS Hits@1	UMLS Hits@10	WN18RR MRR	WN18RR Hits@1	WN18RR Hits@10	YAGO3-10 MRR	YAGO3-10 Hits@1	YAGO3-10 Hits@10
AMIE	0.778	0.683	0.891	0.312	0.195	0.560	0.162	0.060	0.278	0.012	0.008	0.021
Neural-LP	0.785	0.720	0.863	0.505	0.415	0.638	0.228	0.223	0.223	0.235	0. NaN?	NaN?
RNNLogic	0.860	0.792	0.957	0.750	0.630	0.924	0.216	0.183	0.275	0.OOM	0.OOM	0.OOM
NLIL	0.358	0.321	0.416	0.693	0.632	0.921	0.223	0.222	0.225	0.OOM	0.OOM	0.OOM
NCRL	0.826	0.725	0.963	0.728	0.576	0.938	0.316	0.272	0.397	0.234	0.181	0.334
Ruleformer	0.897	0.841	0.963	0.691	0.555	0.863	0.292	0.258	0.355	0.527	0.520	0.535
ChatRule (ChatGPT)	0.906	0.854	0.968	0.780	0.685	0.948	0.335	0.301	0.400	0.449	0.354	0.627

• ChatRule은 KG 완성에서 다수 데이터셋에 대해 최첨단 벤치마크를 능가한다.
• 규칙 품질 지표(특히 PCA 신뢰도)는 KG 완성 성능의 향상과 상관관계가 있다.
• 발굴된 규칙은 해석 가능하며, 프롬프트로 의미론적으로 의미 있는 관계 및 역/별칭 패턴을 포착한다.
• PCA 기반 순위 매김이 테스트된 지표 중 최상의 전반적 규칙 품질과 하류 성능을 보인다.
• ChatRule은 서로 다른 LLM 및 모델 규모에서도 경쟁력을 유지하며 일반화 가능성이 넓음을 시사한다.
• YAGO3-10에서 ChatGPT를 사용한 ChatRule이 열거된 방법 중 가장 높은 MRR 및 Hits@1/10를 달성했다.