[논문 리뷰] Neural-Symbolic Entangled Framework for Complex Query Answering

Zezhong Xu, Wen Zhang외 3명|arXiv (Cornell University)|2022. 09. 19.

Advanced Graph Neural Networks인용 수 5

한 줄 요약

이 논문은 지식 그래프 임베딩(KGE)과 상징적 추론을 동시에 활용하여 불완전한 지식 그래프에서 복잡한 질의 질의에 대한 성능을 햖थन하는 신경-기호적 얽힘 프레임워크인 ENeSy를 제안한다. 신경 예측을 상징적 논리 연산과 얽힘으로 연결함으로써 연산자에 대한 학습 파rameter를 필요로 하지 않으며, 이로 인해 누적 오류를 줄이고 지식 그래프의 불완전성에 대처할 수 있다. 링크 예측 데이터로만 훈련해도 SOTA 성능을 달성한다.

ABSTRACT

Answering complex queries over knowledge graphs (KG) is an important yet challenging task because of the KG incompleteness issue and cascading errors during reasoning. Recent query embedding (QE) approaches to embed the entities and relations in a KG and the first-order logic (FOL) queries into a low dimensional space, answering queries by dense similarity search. However, previous works mainly concentrate on the target answers, ignoring intermediate entities' usefulness, which is essential for relieving the cascading error problem in logical query answering. In addition, these methods are usually designed with their own geometric or distributional embeddings to handle logical operators like union, intersection, and negation, with the sacrifice of the accuracy of the basic operator - projection, and they could not absorb other embedding methods to their models. In this work, we propose a Neural and Symbolic Entangled framework (ENeSy) for complex query answering, which enables the neural and symbolic reasoning to enhance each other to alleviate the cascading error and KG incompleteness. The projection operator in ENeSy could be any embedding method with the capability of link prediction, and the other FOL operators are handled without parameters. With both neural and symbolic reasoning results contained, ENeSy answers queries in ensembles. ENeSy achieves the SOTA performance on several benchmarks, especially in the setting of the training model only with the link prediction task.

연구 동기 및 목표

• 다중 힙 지식 그래프 추론에서 발생하는 누적 오류 문제를 해결하기 위해 최종 답변 외의 중간 엔티티를 활용한다.
• 합집합, 교집합, 부정과 같은 복잡한 논리 연산자를 처리하기 위해 투영 정확도를 희생하는 기존 질의 임베딩 방법의 한계를 극복한다.
• 재학습이나 아키텍처 변경 없이도 기존 KGE 모델(예: TransE, RotatE)을 복잡한 질의에 일반화할 수 있도록 한다.
• 모든 일阶 논리 연산자(부정 포함)를 파rameter화된 임베딩 없이 지원하여 링크 예측 데이터로만 훈련할 수 있도록 한다.
• 신경 추론과 상징적 추론 간 상호 보완적 강화를 통해 지식 그래프의 불완전성과 추론 오류에 대한 내성적 저항력을 향상시킨다.

제안 방법

• 링크 예측을 위한 엔티티 및 관계 임베딩을 생성하기 위해 어떤 KGE 모델(예: RotatE)을 신경 구성요소로 통합한다.
• 엔티티 집합에 대한 집합 연산을 통해 합집합, 교집합, 부정과 같은 논리 연산을 수행하며, 이러한 연산자에 대한 학습 파rameter를 학습하지 않는다.
• 추론 시점에 신경 및 상징적 결과를 앙상블 스코어링을 통해 융합함으로써 두 추론 경로를 얽힘으로 연결하여 성능을 향상시킨다.
• 전체 프레임워크를 링크 예측 감독만으로 훈련함으로써 복잡한 질의 주석이 제한된 저자원 환경에서도 구현이 가능하도록 한다.
• 지식 그래프의 불완전성으로 인해 KGE가 놓친 엔티티를 상징적 추론으로 보완하고, 반대로 잘못된 신경 예측을 상징적 추론으로 수정함으로써 상호 보완적 개선을 이룬다.

실험 결과

연구 질문

• RQ1 상징적 추론은 다중 힙 질의에서 누적 오류를 줄임으로써 신경 추론을 향상시킬 수 있는가?
• RQ2 신경 추론은 지식 그래프의 불완전성 영향을 완화시킴으로써 상징적 추론을 향상시킬 수 있는가?
• RQ3 신경 및 상징적 예측의 앙상블은 각각의 성능을 뛰어넘어 전체 성능을 향상시키는가?
• RQ4 ENeSy는 복잡한 질의 감독 없이 링크 예측 데이터로만 훈련해도 SOTA 성능을 달성할 수 있는가?
• RQ5 신경-기호 얽힘 메커니즘은 다양한 질의 유형에서 추론의 내성적 저항력을 향상시키는 데 얼마나 효과적인가?

주요 결과

• ENeSy는 누적 오류를 크게 감소시킨다: 심지어 상징적 보조 기능이 있는 경우 3단계 질의에서 MRR이 순수 KGE 모델 대비 최대 14.0% 향상되었다.
• 상징적 추론만으로도 신경 임베딩을 통합함으로써 거의 SOTA 성능(MRR ~0.45, FB15K-237 기준)을 달성하며, 단순 탐색 방식보다 크게 뛰어나다.
• 신경 및 상징적 예측의 앙상블은 다양한 질의 유형에서 순수 신경 모델 대비 평균 15.3% 향상되고, 순수 상징적 모델 대비 28.6% 향상되었다.
• ENeSy는 FB15K-237 및 NELL-995에서 복잡한 질의 감독 없이 링크 예측 데이터로만 훈련해도 SOTA 성능을 달성하며, 복잡한 질의 감독으로 훈련된 기준 모델들을 능가한다.
• 모델의 성능는 다양한 질의 유형에서 뛰어난 안정성을 보이며, 2i/3i, 2u/up, 2in/3in 등 다양한 복잡한 패턴에서 MRR 향상이 일관되게 관찰되었다.