[논문 리뷰] DRUM: End-To-End Differentiable Rule Mining On Knowledge Graphs

Ali Sadeghian, Mohammadreza Armandpour외 2명|arXiv (Cornell University)|2019. 10. 31.

Advanced Graph Neural Networks인용 수 62

한 줄 요약

DRUM은 지식 그래프에서 첫 번째 차원 논리 규칙과 그 신뢰도 점수를 학습하는 완전 미분 가능한 모델로, 순위-L 텐서에서 영감을 받은 표현과 관계 간 정보를 공유하는 양방향 RNN을 사용하여 inductive 및 해석 가능한 링크 예측을 수행한다.

ABSTRACT

In this paper, we study the problem of learning probabilistic logical rules for inductive and interpretable link prediction. Despite the importance of inductive link prediction, most previous works focused on transductive link prediction and cannot manage previously unseen entities. Moreover, they are black-box models that are not easily explainable for humans. We propose DRUM, a scalable and differentiable approach for mining first-order logical rules from knowledge graphs which resolves these problems. We motivate our method by making a connection between learning confidence scores for each rule and low-rank tensor approximation. DRUM uses bidirectional RNNs to share useful information across the tasks of learning rules for different relations. We also empirically demonstrate the efficiency of DRUM over existing rule mining methods for inductive link prediction on a variety of benchmark datasets.

연구 동기 및 목표

• 블랙박스 임베딩이 아닌 해석 가능하고 인간이 이해할 수 있는 규칙으로 인덕티브 링크 예측을 다룬다.
• 규칙 구조와 신뢰도 점수를 함께 학습하는 완전한 미분 가능 프레임워크를 개발한다.
• 규칙 신뢰도 추정을 저랭크 텐서 근사와 연결하고 관계 간 지식 공유를 가능하게 한다.
• 벤치마크 데이터셋에서 이전 미분 가능 규칙 마이닝 방법들에 비해 효율성과 정확도 향상을 입증한다.

제안 방법

• 관계 인접 행렬의 합성으로 규칙을 표현하고 랭크-L 텐서 유사 확장을 최적화하여 규칙 신뢰를 학습한다.
• Omega_H(a) 형식과 랭크-L 확장 Omega^L_H(a, L)을 도입하여 규칙 신뢰도를 모델링한다.
• 헤드 관계 H에 조건화된 규칙 형성 계수 a_{i,k}를 생성하기 위해 양방향 RNN을 사용하여 헤드 술어 간 공유를 가능하게 한다.
• 고정 길이 규칙을 항등 관계 B_0를 사용한 유연한 길이로 대체하여 고정된 계산 내에서 더 짧은 규칙을 가능하게 한다.
• 랭크-1 형식은 한계를 가진다는 것을 보이고(정리 1), 상위 랭크 근사치(정리 2)가 임의의 규칙 집합을 표현할 수 있음을 보인다.
• 헤드 술어에 걸쳐 공유된 RNN 집합으로, 개방 세계 가정 하의 양성 사실에 대해 그래디언트 기반 최적화(Adam)로 엔드 투 엔드 학습한다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드 미분 가능 규칙 마이닝이 지식 그래프에 대한 규칙 구조와 규칙 신뢰도 점수 모두를 학습할 수 있는가?
• RQ2 랭크-1 접근법에 비해 더 높은 랭크(L>1) 텐서 유사 표현을 허용하는 것이 정확도와 해석 가능성을 향상시키는가?
• RQ3 헤드 술어 간 공유되는 양방향 RNN이 관계 간 패턴을 포착하여 규칙 마이닝과 인덕티브 추론을 향상시킬 수 있는가?
• RQ4 DRUM이 통계적 관계 학습 및 지식 그래프 완성을 위한 벤치마크에서 최신 미분 가능 규칙 마이닝 방법과 확장 가능하고 경쟁력이 있는가?

주요 결과

• DRUM은 통계적 관계 학습에서 규칙 길이 T=2 및 T=3 모두에 대해 다수의 데이터셋에서 Neural-LP를 능가한다.
• 고랭크(L=4) DRUM은 랭크-1 변형에 비해 현저한 향상을 보이며 텐서 유사 규칙 신뢰도 모델링의 이점을 보여준다.
• DRUM은 WordNet(WN18RR)과 Freebase(FB15K-237)에서 다수의 지표에 걸쳐 전이에 대한 링크 예측 작업에서 최첨단 성능을 달성한다.
• 인덕티브 링크 예측에서 DRUM은 Neural-LP에 비해 대체로 경쟁력 있으며 일반적으로 우수하여 보이지 않는 엔티티에 대한 인덕티브 능력을 강조한다.
• 사람 평가에 따르면 DRUM은 Neural-LP에 비해 더 잘 정렬되고 더 정확한 규칙을 생성하며 최상위 랭킹에서 논리적으로 잘못된 규칙을 줄인다.