[논문 리뷰] Neural-Symbolic Models for Logical Queries on Knowledge Graphs

Zhaocheng Zhu, Mikhail Galkin외 2명|arXiv (Cornell University)|2022. 05. 16.

Advanced Graph Neural Networks인용 수 16

한 줄 요약

이 논문은 그래프 신경망(GNN)과 퍼지 논리의 조합을 통해 불완전한 지식 그래프에서 복잡한 일阶논리(FOL) 쿼리를 처리하는 신경-기호 모델인 GNN-QE를 제안한다. 쿼리를 해석 가능한 퍼지 집합 연산으로 분해하고 GNN을 통해 관계 사영을 수행함으로써, 중간 추론 과정의 시각화와 답변 수의 제로샷 예측을 포함하여 해석 가능성 향상과 함께 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Answering complex first-order logic (FOL) queries on knowledge graphs is a fundamental task for multi-hop reasoning. Traditional symbolic methods traverse a complete knowledge graph to extract the answers, which provides good interpretation for each step. Recent neural methods learn geometric embeddings for complex queries. These methods can generalize to incomplete knowledge graphs, but their reasoning process is hard to interpret. In this paper, we propose Graph Neural Network Query Executor (GNN-QE), a neural-symbolic model that enjoys the advantages of both worlds. GNN-QE decomposes a complex FOL query into relation projections and logical operations over fuzzy sets, which provides interpretability for intermediate variables. To reason about the missing links, GNN-QE adapts a graph neural network from knowledge graph completion to execute the relation projections, and models the logical operations with product fuzzy logic. Experiments on 3 datasets show that GNN-QE significantly improves over previous state-of-the-art models in answering FOL queries. Meanwhile, GNN-QE can predict the number of answers without explicit supervision, and provide visualizations for intermediate variables.

연구 동기 및 목표

• 결합 링크가 누락되어 기존 기호적 방법이 실패하는 불완전한 지식 그래프에서 복잡한 FOL 쿼리를 처리하는 데 도전하는 것.
• 신경망의 일반화 능력을 활용하면서도 기호적 추론의 해석 가능성 유지하는 모델 개발.
• 명시적 지도 학습 없이도 답변 수를 예측하고 중간 추론 단계의 시각화를 제공하는 것.
• 다양화 가능한 해석 가능한 추론을 유지하면서 표준 FOL 쿼리 벤치마크에서 최신 기술 수준의 성능 달성.

제안 방법

• 복잡한 FOL 쿼리를 해석 가능한 퍼지 집합 연산으로 분해하고 관계 사영을 순차적으로 수행함으로써 중간 변수의 해석 가능성 확보.
• 지식 그래프 완성에서 유도된 그래프 신경망(GNN)을 사용해 헤드 엔티티의 퍼지 집합을 테일 엔티티의 퍼지 집합으로 사영.
• 곱셈 기반 퍼지 논리로 논리 연산(합성, 논리합, 부정)을 모델링하여 논리 법칙을 유지하고 기울기 기반 최적화 가능.
• GNN의 정규화를 위해 트래버스 드롭아웃 도입 및 학습과 추론의 가속화를 위한 배치 표현 실행 도입.
• 역전파가 가능한 기호적 프레임워크를 활용해 논리 연산과 엔티티 집합 조작에 대한 백프로파게이션 지원.
• 최종 답변에 대한 지도 학습을 통해 엔드 투 엔드 학습이 가능하며, 동시에 중간 변수의 시각화와 답변 수 예측 기능 제공.

실험 결과

연구 질문

• RQ1 신경-기호 모델은 불완전한 지식 그래프에서 FOL 쿼리에 대해 신경망의 일반화 능력과 기호적 추론의 해석 가능성의 조합이 가능한가?
• RQ2 기호적 구성 덕분에 명시적 지도 학습 없이도 쿼리의 답변 수를 예측할 수 있는가?
• RQ3 특히 부정 및 존재 기호를 다룰 때 복잡한 FOL 쿼리에서 최신 기술 수준의 방법과 비교해 성능가 어떻게 되는가?
• RQ4 모델의 중간 퍼지 집합을 얼마나 잘 시각화할 수 있는가? 이를 통해 다단계 추론의 해석 가능성은 얼마나 향상되는가?
• RQ5 GNN 기반의 관계 사영과 퍼지 논리 연산의 통합은 순수 신경망 또는 기호적 접근보다 더 나은 일반화를 이끌어내는가?

주요 결과

• 기존 최신 기술 수준의 모델 대비 존재 긍정 일阶논리(EPFO) 쿼리에서 평균 22.3% 상대적 향상과 부정 쿼리에서 95.1% 향상을 달성.
• 지식 그래프 완성에서 복잡한 쿼리 처리로의 일반화 성능이 뛰어나, 불완전한 그래프에서 정확도와 강건성 면에서 다른 방법들을 능가.
• 기존의 기호적 구성 덕분에 명시적 지도 학습 없이도 쿼리의 답변 수를 예측할 수 있음.
• 유의미한 중간 퍼지 집합의 시각화를 제공해 사용자가 단계별 추론 경로를 검토하고 이해할 수 있도록 지원.
• 제거 실험을 통해 GNN 기반 사영과 퍼지 논리 연산의 조합이 성능 및 해석 가능성 향상의 핵심 요소임을 입증.
• 트래버스 드롭아웃의 사용은 일반화 능력을 향상시키고, 특히 데이터가 적은 환경에서 과적합을 줄이는 데 기여.