[논문 리뷰] Beta Embeddings for Multi-Hop Logical Reasoning in Knowledge Graphs

Hongyu Ren, Jure Leskovec|arXiv (Cornell University)|2020. 10. 22.

Advanced Graph Neural Networks참고 문헌 37인용 수 74

한 줄 요약

BetaE는 불완전한 지식 그래프에서 다중 점프 일阶 논리 추론을 가능하게 하기 위해 엔티티와 질의를 베타 분포로 임베딩하며, 부정(NOT)을 포함한 모든 FOL 연산자를 지원하고 EPFO 질의 및 그 이상에서 최첨단 성능을 제공합니다.

ABSTRACT

One of the fundamental problems in Artificial Intelligence is to perform complex multi-hop logical reasoning over the facts captured by a knowledge graph (KG). This problem is challenging, because KGs can be massive and incomplete. Recent approaches embed KG entities in a low dimensional space and then use these embeddings to find the answer entities. However, it has been an outstanding challenge of how to handle arbitrary first-order logic (FOL) queries as present methods are limited to only a subset of FOL operators. In particular, the negation operator is not supported. An additional limitation of present methods is also that they cannot naturally model uncertainty. Here, we present BetaE, a probabilistic embedding framework for answering arbitrary FOL queries over KGs. BetaE is the first method that can handle a complete set of first-order logical operations: conjunction ($\wedge$), disjunction ($\vee$), and negation ($ eg$). A key insight of BetaE is to use probabilistic distributions with bounded support, specifically the Beta distribution, and embed queries/entities as distributions, which as a consequence allows us to also faithfully model uncertainty. Logical operations are performed in the embedding space by neural operators over the probabilistic embeddings. We demonstrate the performance of BetaE on answering arbitrary FOL queries on three large, incomplete KGs. While being more general, BetaE also increases relative performance by up to 25.4% over the current state-of-the-art KG reasoning methods that can only handle conjunctive queries without negation.

연구 동기 및 목표

• 대규모의 불완전한 KG에서 임의의 FOL 질의에 답하는 도전을 제시하고 해결합니다.
• 부정을 포함한 모든 FOL 연산자를 지원하는 확률적 임베딩 프레임워크를 개발합니다.
• 베타 분포에서 작동하는 신경 연산자를 설계하여 관계 사영, 교집합, 부정을 닫힌 형태로 확장 가능하게 수행합니다.
• 베타 임베딩을 통해 불확실성을 명시적으로 모델링하고 미분 엔트로피로 정량화합니다.
• 복잡한 질의에 대한 표준 KG 벤치마크에서 최신의 성능을 보여주고 불확실성 모델링 능력을 평가합니다.

제안 방법

• 엔티티와 질의를 [0,1] 위의 베타 분포로 임베딩하여 확률적 추론과 한정된 지원 특성을 허용합니다.
• 관계별 MLP를 통해 확률적 사영(projection)을 구현: S' = MLP_r(S)로 입력 베타 임베딩을 KG 관계를 통해 매핑합니다.
• 확률적 교집합을 가중 곱으로 정의: p_SInter ∝ ∏ p_Si^{wi}, 가중치는 어텐션으로 학습되며 합이 1이 되도록 합니다.
• 확률적 부정을 베타 매개변수를 변환하여 근사 보수를 구하는 방식으로 정의합니다: N([α,β]) = [1/α, 1/β], 닫힌 형태의 논리 연산을 가능하게 합니다.
• 쿼리 임베딩과 정답/엔티티 임베딩 간의 KL 발산 기반 거리를 최소화하는 음의 샘플링 목표를 이용해 학습합니다.
• 드모르간의 법칙을 이용해 교집합과 부정을 통해 논리합(disjunction)을 근사화하여 전체 FOL 처리를 가능하게 하되 합의 수가 선형으로 유지되도록 합니다.

실험 결과

연구 질문

• RQ1 Beta 임베딩이 불완전한 KG에서 임의의 FOL 질의(부정 포함)를 표현할 수 있는가?
• RQ2 확률적 연산자(사영, 교집합, 부정)가 논리적 성질과 폐쇄성을 반영하도록 어떻게 작동하는가?
• RQ3 BetaE 임베딩이 불확실성을 정확하게 모델링하고 임베딩 엔트로피와 질의 정답 집합 크기 간의 상관관계를 보이는가?
• RQ4 EPFO 질의에 제한된 방법들에 비해 표준 KG 벤치마크에서 BetaE의 성능은 어떠한가?
• RQ5 부정이 있는 질의를 처리하면서도 보이지 않는 질의 구조로 일반화할 수 있는가?

주요 결과

• BetaE는 EPFO 질의에서 최첨단 또는 경쟁력 있는 성능을 달성하며, 부정이 없는 이전 방법에 비해 최대 25.4%의 상대적 개선을 보입니다.
• BetaE는 부정을 포함한 임의의 FOL 질의를 성공적으로 처리하며 FB15k, FB15k-237, NELL995 데이터셋에서 베이스라인보다 우수합니다.
• 확률적 Beta 임베딩은 질의 불확실성을 포착하고, 미분 엔트로피와 정답 집합 크기 사이에 강한 상관관계가 나타나(베이스라인 대비 최대 77% 상대 개선) 효과를 보입니다.
• BetaE에서 부정 및 교집합 연산자는 닫힌 형태를 가지며, 동일 입력을 사용할 때 N(N(S)) = S 및 I(S,...,S) = S로 논리적 일관성을 보장합니다.
• 모델은 엔베딩 엔트로피를 사용해 질의를 정답 여부로 분류할 수 있으며 NELL에서 ROC-AUC가 최대 0.844에 달합니다.