[논문 리뷰] Neural Methods for Logical Reasoning Over Knowledge Graphs

Alfonso Amayuelas, Shuai Zhang외 2명|arXiv (Cornell University)|2022. 09. 28.

Advanced Graph Neural Networks인용 수 10

한 줄 요약

이 논문은 지식 그래프에서 논리적 추론을 위한 신경망 기반 프레임워크를 제안하며, 기존의 일점 벡터 공간에 쿼리와 엔티티를 통합하고 신경망을 사용해 논리 연산자를 구현함으로써 전체 일阶논리(FOL) 쿼리, 즉 논리곱, 논리합, 부정을 모두 지원한다. 이 모델은 상태 기준 최고 성능(SOTA) 방법보다 10% 상대적 향상과 이전의 일점 임베딩 기반 기준보다 30% 이상의 향상을 달성한다.

ABSTRACT

Reasoning is a fundamental problem for computers and deeply studied in Artificial Intelligence. In this paper, we specifically focus on answering multi-hop logical queries on Knowledge Graphs (KGs). This is a complicated task because, in real-world scenarios, the graphs tend to be large and incomplete. Most previous works have been unable to create models that accept full First-Order Logical (FOL) queries, which include negative queries, and have only been able to process a limited set of query structures. Additionally, most methods present logic operators that can only perform the logical operation they are made for. We introduce a set of models that use Neural Networks to create one-point vector embeddings to answer the queries. The versatility of neural networks allows the framework to handle FOL queries with Conjunction ($\wedge$), Disjunction ($\vee$) and Negation ($ eg$) operators. We demonstrate experimentally the performance of our model through extensive experimentation on well-known benchmarking datasets. Besides having more versatile operators, the models achieve a 10\% relative increase over the best performing state of the art and more than 30\% over the original method based on single-point vector embeddings.

연구 동기 및 목표

• 기존 모델이 전체 일阶논리(FOL) 쿼리를 처리할 수 없고, 특히 부정을 포함한 쿼리를 다룰 수 없는 한계를 해결하기 위해.
• 논리곱(∧), 논리합(∨), 부정(¬)을 포함한 복잡한 쿼리 구조를 지원하는 통합적이고 유연한 논리적 추론 프레임워크를 개발하기 위해.
• 대규모이고 불완전한 지식 그래프에서의 다단계 논리적 추론 작업 성능을 향상시키기 위해 신경망 기반 논리 연산자를 활용하기 위해.
• 신경망이 효과적으로 논리 연산을 학습하고 일반화할 수 있음을 입증하기 위해, 기하학적 또는 고정된 기호적 접근 방식보다 우수한 성능을 내는 것을 목표로 한다.

제안 방법

• 신경망을 사용해 쿼리와 엔티티를 공통의 일점 벡터 공간에 임베딩한다.
• 논리 연산자(논리곱, 논리합, 부정)는 학습 가능한 신경 모듈로 구현되어 FOL 쿼리에 대한 엔드 투 엔드 학습이 가능하다.
• 쿼리 임베딩와 유사도 기반으로 후보 엔티티를 순서 매기기 위해 벡터 공간 내에서 최근접 이웃 검색을 사용한다.
• 기존 방법이 처리할 수 없었던 존재 기호 및 부정 조건을 포함한 전체 FOL 쿼리를 지원한다.
• 다양한 인덕티브 바이어스를 탐색하기 위해 MLP, MLP-Mixer, 어텐션 기반 모델 등의 변형 아키텍처를 포함한다.
• 쿼리 임베딩와 정답 엔티티 간의 거리를 최적화하기 위해 대조 학습을 사용해 프레임워크를 학습한다.

실험 결과

연구 질문

• RQ1 신경망 기반 프레임워크는 지식 그래프에서 부정을 포함한 전체 일阶논리(FOL) 쿼리를 효과적으로 처리할 수 있는가?
• RQ2 다단계 논리 쿼리에서 신경 연산자 기반 추론 시스템의 성능은 기하학적 또는 기호 기반 기준 대비 어떻게 비교되는가?
• RQ3 학습 가능한 신경 연산자가 논리곱, 논리합, 부정과 같은 다양한 논리 연산에 대해 얼마나 잘 일반화되는가?
• RQ4 신경 논리 연산자와 함께 일점 벡터 임베딩를 사용할 경우, 불완전한 지식 그래프에서의 추론에서 기존 SOTA 모델을 초월하는가?
• RQ5 이전 연구에서 자주 생략되는 'A를 만족하지만 B를 만족하지 않는 X를 찾기'와 같은 부정 쿼리에 대해 모델이 일반화 가능한가?

주요 결과

• 제안된 모델은 FB15k, FB15k-237, NELL995에서 EPFO(존재기호, 논리곱, 논리합) 쿼리에 대해 가장 뛰어난 SOTA 방법보다 10% 상대적 향상을 달성했다.
• Hamilton 등(2018)이 제안한 원래의 일점 임베딩 방법(GQE)보다 30% 이상의 향상을 보이며, 신경 논리 연산자의 효과성을 입증했다.
• 2벡터 접근 방식 변형이 FB15k에서 EPFO 쿼리에 대해 MRR 45.8을 기록하며 기준 MLP 및 어텐션 기반 변형보다 높은 성능을 보였다.
• 부정을 포함한 전체 FOL 쿼리에 대해 모델은 FB15k에서 MRR 14.5를 기록했으며, BetaE(11.8 MRR)를 크게 능가해 부정 쿼리 처리 능력을 입증했다.
• 어텐션 메커니즘과 2벡터 접근 방식이 기준 MLP보다 성능 향상을 보이며, 아키텍처 선택이 추론 품질에 상당한 영향을 미친다는 것을 시사한다.
• 2in, 3in, pni와 같은 부정 쿼리 구조를 성공적으로 처리했으며, 각각 FB15k에서 MRR 점수 17.2, 17.8, 15.2를 기록해 복잡한 논리 형태에 대한 강건성을 입증했다.