[논문 리뷰] Logic Rules Powered Knowledge Graph Embedding

Pengwei Wang, Dejing Dou외 3명|arXiv (Cornell University)|2019. 03. 09.

Advanced Graph Neural Networks참고 문헌 30인용 수 18

한 줄 요약

이 논문은 TransE와 같은 이동 기반 모델에 자동으로 추출한 논리 규칙—예를 들어 추론, 전이성, 반대칭성 규칙—을 통합하는 논리 규칙 강화 지식 그래프 임베딩 방법을 제안한다. 삼중항과 규칙을 모두 일阶논리로 표현하고 전역 손실을 동시 최적화함으로써 링크 예측 성능을 크게 향상시키며, 특히 필터링된 Hits@1에서 WN18에서 최대 700% 향상됨.

ABSTRACT

Large scale knowledge graph embedding has attracted much attention from both academia and industry in the field of Artificial Intelligence. However, most existing methods concentrate solely on fact triples contained in the given knowledge graph. Inspired by the fact that logic rules can provide a flexible and declarative language for expressing rich background knowledge, it is natural to integrate logic rules into knowledge graph embedding, to transfer human knowledge to entity and relation embedding, and strengthen the learning process. In this paper, we propose a novel logic rule-enhanced method which can be easily integrated with any translation based knowledge graph embedding model, such as TransE . We first introduce a method to automatically mine the logic rules and corresponding confidences from the triples. And then, to put both triples and mined logic rules within the same semantic space, all triples in the knowledge graph are represented as first-order logic. Finally, we define several operations on the first-order logic and minimize a global loss over both of the mined logic rules and the transformed first-order logics. We conduct extensive experiments for link prediction and triple classification on three datasets: WN18, FB166, and FB15K. Experiments show that the rule-enhanced method can significantly improve the performance of several baselines. The highlight of our model is that the filtered Hits@1, which is a pivotal evaluation in the knowledge inference task, has a significant improvement (up to 700% improvement).

연구 동기 및 목표

• 기존 지식 그래프 임베딩 방법이 사실 삼중항에만 의존하고 구조적 배경 지식를 忽시하는 한계를 해결하기 위해.
• 일관된 벡터 공간 내에서 지식 그래프 삼중항과 논리 규칙을 함께 학습할 수 있도록 하기 위해.
• 일阶논리 표현을 사용하고 일관된 대수 연산을 적용함으로써 규칙 인코딩에서 발생하는 일대다 매핑 문제를 해결하기 위해.
• 규칙 기반 학습을 통해 링크 예측 및 삼중항 분류 성능을 향상시키기 위해.
• 어떤 이동 기반 지식 그래프 임베딩 모델과도 호환되는 즉시 사용 가능한 프레임워크를 제공하기 위해.

제안 방법

• 패턴 기반 규칙 추출을 통해 지식 그래프 삼중항에서 논리 규칙(추론, 전이성, 반대칭성)과 그 신뢰도를 자동으로 추출하기.
• 모든 삼중항과 규칙을 일관된 일阶논리 형태로 표현하기, 예를 들어 삼중항 (h, r, t)는 r(h) ⇒ t 와 같이 표현하기.
• 논리 기호(예: 함의, 논리곱)에 대해 일관된 벡터 공간 연산을 정의하여 규칙과 삼중항 간의 대수적 상호작용을 가능하게 하기.
• 임베딩 공간 내에서 규칙 내 구성 요소가 직접 상호작용할 수 있도록 일반화된 상호작용 연산을 도입하기.
• 삼중항과 추출한 논리 규칙 양쪽을 동시에 최적화하는 전역 손실 함수를 제안하기.
• 엔드 투 엔드 학습을 통해 이 규칙 기반 손실을 TransE, TransH, TransR 등 어떤 이동 기반 모델에도 통합하기.

실험 결과

연구 질문

• RQ1 자동으로 추출한 논리 규칙이 지식 그래프 임베딩 모델의 성능을 상당히 향상시킬 수 있는가?
• RQ2 논리 규칙과 지식 그래프 삼중항을 일관된 대수 연산을 갖는 공통 의미 공간에 임베딩할 수 있는가?
• RQ3 논리 규칙 통합이 링크 예측 및 삼중항 분류 작업에서 측정 가능한 성능 향상으로 이어지는가?
• RQ4 제안된 방법이 지식 추론에 특히 중요한 필터링된 Hits@1 지표에서 상당한 향상을 이룰 수 있는가?
• RQ5 TransE, TransH, TransR와 같은 다양한 이동 기반 모델에 적용했을 때 규칙 기반 방법이 호환성과 효과성을 갖는가?

주요 결과

• 규칙 기반 강화 방법은 평가된 모든 데이터셋(WN18, FB166, FB15K)에서 링크 예측 성능을 상당히 향상시킴.
• WN18에서 TransR(Rule)는 필터링된 Hits@1이 0.9926을 기록하여 기준 모델인 TransR(Per) 대비 700% 향상됨.
• TransE(Rule) 버전은 FB166에서 필터링된 Hits@1이 0.9490을 기록하여 TransE(Per) 대비 절대값으로 4.2% 향상됨.
• TransH(Rule) 모델은 FB166에서 필터링된 Hits@1이 0.9505를 기록하여 기준 모델 대비 일관된 성능 향상 보임.
• TransE, TransH, TransR 등 여러 모델에 대해 강력한 성능 향상이 나타나, 광범위한 호환성과 효과성을 입증함.
• 논리 규칙 통합은 일반화 능력 향상과 지식 추론 작업에서 특히 강력한 인덕티브 바이어스를 제공함.