[논문 리뷰] Inductive Logical Query Answering in Knowledge Graphs

Mikhail Galkin, Zhaocheng Zhu외 2명|arXiv (Cornell University)|2022. 10. 13.

Advanced Graph Neural Networks인용 수 4

한 줄 요약

이 논문은 재학습 없이도 새로운 개체에 일반화할 수 있는 지식 그래프를 위한 두 가지 인덕티브 질의 답변 방법—NodePiece-QE와 GNN-QE—을 제안한다. 그래프 신경망을 통해 고정 크기의 토큰 어휘에 기반한 인도적 노드 및 관계 구조 표현을 활용함으로써, 모델들은 강력한 제로샷 일반화 성능을 달성하며, 훈련 그래프보다 최대 500% 더 큰 그래프에서 복잡한 논리 질의를 처리할 수 있다. GNN-QE는 더 높은 정확도를 보이고, NodePiece-QE는 수백만 노드의 그래프에서 확장 가능한 추론을 가능하게 한다.

ABSTRACT

Formulating and answering logical queries is a standard communication interface for knowledge graphs (KGs). Alleviating the notorious incompleteness of real-world KGs, neural methods achieved impressive results in link prediction and complex query answering tasks by learning representations of entities, relations, and queries. Still, most existing query answering methods rely on transductive entity embeddings and cannot generalize to KGs containing new entities without retraining the entity embeddings. In this work, we study the inductive query answering task where inference is performed on a graph containing new entities with queries over both seen and unseen entities. To this end, we devise two mechanisms leveraging inductive node and relational structure representations powered by graph neural networks (GNNs). Experimentally, we show that inductive models are able to perform logical reasoning at inference time over unseen nodes generalizing to graphs up to 500% larger than training ones. Exploring the efficiency--effectiveness trade-off, we find the inductive relational structure representation method generally achieves higher performance, while the inductive node representation method is able to answer complex queries in the inference-only regime without any training on queries and scales to graphs of millions of nodes. Code is available at https://github.com/DeepGraphLearning/InductiveQE.

연구 동기 및 목표

• 업데이트되거나 새로운 지식 그래프에서 새로운 개체에 일반화할 수 없는 전이형 질의 임베딩 모델의 한계를 해결하기 위해.
• 새로운 노드가 추가될 때 재학습이 필요 없이 개체와 관계의 표현을 학습하는 인덕티브 방법을 개발하기 위해.
• 훈련 그래프보다 훨씬 큰 그래프에서 복합 질의(예: 논리적 합성, 부정, 존재적 양상)에 대한 논리적 추론을 가능하게 하기 위해.
• 인덕티브 노드 기반 및 관계 구조 기반 접근법 간의 효율성-효과성 트레이드오���을 평가하기 위해.

제안 방법

• NodePiece-QE는 고정 크기의 토큰 어휘에 기반한 엔티티 표현을 통해 NodePiece 모델을 인덕티브 질의 답변으로 확장하여, 엔티티 임베딩이 없는 추론을 가능하게 한다.
• 잠재 공간에서 교차, 합집합, 부정과 같은 연산을 수행할 수 있는 비모수적 논리 질의 실행기(논리적 실행기)를 사용하여, 오직 추론 모드만 지원한다.
• GNN-QE는 엔티티 임베딩 없이도 그래프 구조에 직접 작용하는 GNN을 사용하여 인덕티브 관계 구조 표현을 학습하며, 경로 기반 관계를 포착한다.
• 모델는 PNA 집계와 DistMult 조합을 사용하여 관계 패턴을 인코딩하며, 복잡한 질의에 대해 엔드 투 엔드로 훈련된다.
• 질의 실행 중 점수를 조합하기 위해 미분 가능한 t-노름(예: 곱셈 + 시그모이드)을 사용하며, 손실는 BCE와 음성 샘플링을 통해 최적화된다.
• 새로운 10개의 데이터셋을 포함한 벤치마크에서 평가되었으며, 확장성과 일반화에 대한 분석도 수행되었다.

실험 결과

연구 질문

• RQ1 인덕티브 질의 임베딩 모델은 훈련 그래프보다 훨씬 큰 그래프(최대 500%)에서도 일반화할 수 있는가?
• RQ2 성능와 확장성 측면에서 인덕티브 노드 표현과 인덕티브 관계 구조 표현 간의 비교는 어떠한가?
• RQ3 모델은 어떤 피팅 또는 재학습 없이도 완전히 새로운 개체에 대해 복잡한 논리 질의를 답변할 수 있는가?
• RQ4 새로운 노드와 간선이 지식 그래프에 추가되었을 때, 인덕티브 모델이 얼마나 새로운 올바른 답변을 발견할 수 있는가?
• RQ5 NodePiece-QE(확장성 우수)와 GNN-QE(더 높은 정확도) 간의 효율성-효과성 트레이드오프는 인덕티브 환경에서 어떻게 나타나는가?

주요 결과

• NodePiece-QE와 GNN-QE는 모두 새로운 개체에 대해 복잡한 논리 질의를 처리하는 데 있어 비현저한 성능을 보이며, 인덕티브 질의 답변의 가능성을 확인한다.
• 모델들은 훈련 그래프보다 최대 500% 더 큰 그래프로 일반화할 수 있으며, 분포 외 일반화 능력이 뛰어나다.
• 새로운 노드(예: Feynman, Princeton)가 그래프에 추가되었을 때, 인덕티브 모델은 이전에 본 적 있는 질의에 대해 새로운 올바른 답변을 성공적으로 식별하며, 업데이트 가능한 데이터베이스를 모방한다.
• NodePiece-QE는 200만 노드와 50만 개의 새로운 노드를 포함한 그래프에서 확장 가능하며, 질의 전용 훈련 없이도 추론 전용 질의 답변이 가능하다.
• GNN-QE는 복잡한 질의에 대해 엔드 투 엔드로 훈련되므로 NodePiece-QE보다 더 높은 성능을 달성하지만, 매우 큰 그래프에서는 확장성 문제를 겪는다.
• Edge-type Heuristic 기반 모델은 단순함에도 불구하고 강력한 기반 성능을 보이며, 관계 유형에 기반한 엔티티 필터링을 통해 구조적 인덕티브 비스의 중요성을 부각시킨다.