[논문 리뷰] Neural Compositional Rule Learning for Knowledge Graph Reasoning

Kewei Cheng, Nesreen K. Ahmed외 1명|arXiv (Cornell University)|2023. 03. 07.

Advanced Graph Neural Networks인용 수 15

한 줄 요약

NCRL은 KG 추론을 위한 구성적 논리 규칙을 학습하는 엔드투엔드 신경 모델로, 규칙 발견의 확장성과 대규모/미지 그래프에 대한 강한 일반화를 가능하게 하며, 규칙 학습 방법들 중 최첨단 성과를 달성합니다.

ABSTRACT

Learning logical rules is critical to improving reasoning in KGs. This is due to their ability to provide logical and interpretable explanations when used for predictions, as well as their ability to generalize to other tasks, domains, and data. While recent methods have been proposed to learn logical rules, the majority of these methods are either restricted by their computational complexity and can not handle the large search space of large-scale KGs, or show poor generalization when exposed to data outside the training set. In this paper, we propose an end-to-end neural model for learning compositional logical rules called NCRL. NCRL detects the best compositional structure of a rule body, and breaks it into small compositions in order to infer the rule head. By recurrently merging compositions in the rule body with a recurrent attention unit, NCRL finally predicts a single rule head. Experimental results show that NCRL learns high-quality rules, as well as being generalizable. Specifically, we show that NCRL is scalable, efficient, and yields state-of-the-art results for knowledge graph completion on large-scale KGs. Moreover, we test NCRL for systematic generalization by learning to reason on small-scale observed graphs and evaluating on larger unseen ones.

연구 동기 및 목표

• 지식 그래프에서 해석 가능한 설명과 일반화를 제공하기 위해 논리 규칙 학습을 고무한다.
• 계층적 구조를 통해 구성 규칙 바디를 발견하고 규칙 헤드를 추론하기 위한 신경 프레임워크를 제안한다.
• 대규모 지식 그래프에 대한 확장성과 미지의 그래프에 대한 체계적 일반화를 평가한다.
• 학습된 규칙이 기존 규칙 학습자보다 KG 완성 및 귀납적 관계 추론을 향상시킴을 입증한다.

제안 방법

• 규칙 점수를 규칙 바디와 헤드 간의 의미 일관성으로 정의한다.
• KG에서 경로를 샘플링하고 각 경로를 슬라이딩 윈도우(크기 2 및 3)로 짧은 구성으로 분할한다.
• 선택된 구성을 하나의 술어로 합치기 위해 순환 주의 단위를 사용하고, 미지의 헤드를 허용하기 위해 널 술어를 사용한다.
• 구성 시퀀스를 처리하기 위해 RNN 기반 인코더를 사용하고, 의미 있는 구성을 선택하기 위해 소프트맥스 기반 선택기를 사용한다.
• 스케일된 닷 프로덕트 어텐션과 대응하는 값 프로젝션을 사용하여 규칙 헤드의 어텐션 기반 가능도를 계산한다.
• 예측된 헤드에 대해 교차 엔트로피 손실로 엔드-투-엔드 학습하고, 규칙 집합을 위한 상위 점수 규칙을 추출한다.

실험 결과

연구 질문

• RQ1 NCRL은 관측된 학습 그래프를 넘어 일반화하는 고품질의 구성 규칙을 학습할 수 있는가?
• RQ2 NCRL은 대규모 지식 그래프에 대해 확장 가능하고 기존 규칙 학습자에 비해 효율적인가?
• RQ3 NCRL은 더 크고 미지의 그래프에서 더 긴 추론 경로에 대해 체계적 일반화를 보여주는가?
• RQ4 최첨단 방법과 비교했을 때 KG 완성과 귀납적 관계 추론 작업에서 NCRL의 성능은 어떠한가?

주요 결과

• NCRL은 KG 완성에 대한 다수의 벤치마크에서 규칙 학습 방법 가운데 최첨단 성과를 달성한다.
• NCRL은 더 크고 미지의 그래프 및 더 긴 추론 경로에서 강력한 체계적 일반화를 제공한다.
• NCRL은 다른 규칙 학습 기준선에 비해 학습 속도가 현저히 빨라 확장성을 입증한다.
• 어블레이션 및 희소성 분석은 데이터 희소성과 다양한 규칙 수에서도 NCRL이 견고한 성능을 유지함을 보인다.
• 사례 연구는 술어의 의미 그룹화와 일치하는 다양하고 의미 있는 생성 규칙을 보여준다.