[논문 리뷰] Logical Message Passing Networks with One-hop Inference on Atomic Formulas

Zihao Wang, Yangqiu Song외 2명|arXiv (Cornell University)|2023. 01. 21.

Advanced Graph Neural Networks인용 수 4

한 줄 요약

이 논문은 사전에 학습된 지식 그래프 임베딩과 신경 집합 연산자 간의 분리를 통해 불완전한 지식 그래프에서 복잡한 질의를 해결하기 위한 새로운 프레임워크인 논리적 메시지 전달 신경망(LMPNN)을 제안한다. LMPNN는 질의를 질의 그래프로 표현하고, 기존의 지식 그래프 임베딩을 사용하여 원자 공식에 대한 1단계 추론을 수행하며, 이를 '논리적 메시지'로 통합하는 메시지 전달 기반의 전역 논리적 추론을 가능하게 하여, 최소한의 핏값 매개변수로 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Complex Query Answering (CQA) over Knowledge Graphs (KGs) has attracted a lot of attention to potentially support many applications. Given that KGs are usually incomplete, neural models are proposed to answer the logical queries by parameterizing set operators with complex neural networks. However, such methods usually train neural set operators with a large number of entity and relation embeddings from the zero, where whether and how the embeddings or the neural set operators contribute to the performance remains not clear. In this paper, we propose a simple framework for complex query answering that decomposes the KG embeddings from neural set operators. We propose to represent the complex queries into the query graph. On top of the query graph, we propose the Logical Message Passing Neural Network (LMPNN) that connects the local one-hop inferences on atomic formulas to the global logical reasoning for complex query answering. We leverage existing effective KG embeddings to conduct one-hop inferences on atomic formulas, the results of which are regarded as the messages passed in LMPNN. The reasoning process over the overall logical formulas is turned into the forward pass of LMPNN that incrementally aggregates local information to finally predict the answers' embeddings. The complex logical inference across different types of queries will then be learned from training examples based on the LMPNN architecture. Theoretically, our query-graph represenation is more general than the prevailing operator-tree formulation, so our approach applies to a broader range of complex KG queries. Empirically, our approach yields the new state-of-the-art neural CQA model. Our research bridges the gap between complex KG query answering tasks and the long-standing achievements of knowledge graph representation learning.

연구 동기 및 목표

• 기존의 신경 모델이 사전에 학습된 지식 그래프 임베딩의 장점을 효과적으로 활용하지 못하는 불완전한 지식 그래프(KG)에서 복잡한 질의 답변(CQA) 문제를 해결하기 위해.
• 지식 그래프 임베딩과 신경 집합 연산자 간의 분리를 통해 각각의 기여도를 명확히 하여 CQA 성능에 기여하는 요소를 분리하기 위해.
• 기존 표현을 사용하는 상징적 논리적 추론과 신경 메시지 전달을 융합한 확장 가능하고 효과적인 프레임워크를 개발하기 위해.
• 원자 공식에 대한 국소적 1단계 추론을 통합하여 전역 논리적 추론을 수행하는 데에 종속적인 끝에서 끝까지 학습 가능한 신경 모델을 구현하기 위해.
• 1단계 추론 기반의 단순하고 모듈화된 아키텍처가 복잡한 신경 집합 연산자보다 CQA 작업에서 더 뛰어난 성능을 낼 수 있음을 입증하기 위해.

제안 방법

• 논문은 복잡한 EFO-1 질의를 분배 정규형(DNF)으로 표현하고, 각 간선이 술어와 선택적 부정을 포함한 원자 공식에 대응하는 질의 그래프로 모델링한다.
• 각 원자 공식에 대해, 사전에 학습된 지식 그래프 임베딩(예: TransE, RotatE)을 사용하여 소스 엔터티, 관계, 방향성, 부정 여부를 기반으로 중간 엔터티 임베딩을 계산함으로써 1단계 추론을 수행한다.
• 이러한 중간 결과는 질의 그래프 내의 노드 간에 전달되는 '논리적 메시지'로 해석된다.
• 논리적 메시지 전달 신경망(LMPNN)은 다층 퍼셉트론(MLP)을 통해 이러한 메시지를 집계하여 노드 임베딩을 점진적으로 갱신한다.
• 최종 답변 임베딩은 LMPNN의 전방 전파를 통해 예측되며, 이는 전체 논리적 추론 과정을 미분 가능한 메시지 전달 계산으로 모델링한다.
• 프레임워크는 복잡한 질의에서 끝에서 끝까지 학습되며, 핵심 혁신은 국소적 추론에 사전에 학습된 지식 그래프 임베딩을 사용하고, 메시지 집계 및 최종 예측에는 오직 신경망만을 사용한다는 점이다.

실험 결과

연구 질문

• RQ1 사전에 학습된 지식 그래프 임베딩을 사용한 1단계 추론이 확장 가능하고 정확한 신경 CQA 모델을 구축하는 데 효과적으로 활용될 수 있는가?
• RQ2 지식 그래프 임베딩을 신경 집합 연산자에서 분리함으로써 복잡한 질의 답변에서 성능 향상과 해석 가능성 향상이 이루어지는가?
• RQ3 질의 그래프 기반의 메시지 전달 아키텍처가 CQA에서 연산자 트리 기반의 신경 모델보다 우월한 성능을 낼 수 있는가?
• RQ4 기존의 신경 및 상징적 CQA 방법과 비교할 때 제안된 LMPNN 프레임워크의 성능과 효율성은 어떠한가?
• RQ5 최소한의 학습 가능한 매개변수(예: NELL의 1%)로 CQA에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• LMPNN는 FB15k-237 및 NELL 데이터셋에서 모두 최신 기술 수준의 성능을 달성하여, 모든 표준 EFO-1 질의 유형에서 기존의 신경 CQA 모델을 능가한다.
• FB15k-237에서 LMPNN는 모든 질의에 대해 평균 역수 순위(MRR) 24.1%를 기록하여 동일한 설정에서 GNN-QE(26.8%)와 ENeSy(24.5%)를 앞서며 우월한 성능을 보였다.
• NELL에서 LMPNN는 MRR 30.7%를 기록하여 GNN-QE(28.9%)와 ENeSy(29.4%)를 능가했으며, 학습 가능한 매개변수의 비율이 오직 1%에 불과함에도 불구하고 성능을 확보했다.
• LMPNN는 뛰어난 확장성을 보이며, 배치 크기가 1024일 경우 GPU 메모리가 10GB 미만으로만 소요되는 반면, GNN-QE는 배치 크기가 32일 때 128GB가 필요하다.
• 학습 가능한 매개변수가 극히 적은 상태에서도 모델의 성능이 유지되며, 이는 주로 사전에 학습된 지식 그래프 임베딩과 념리적 메시지 집계가 학습 능력의 주요 기여 요소임을 시사한다.
• 결과는 상징적 추론과 신경 메시지 전달을 융합하는 것이 매우 효과적일 수 있음을 보여주며, LMPNN는 상징적 통합 방법과 호환되어 향후 하이브리드 모델의 개발을 위한 길을 열어준다.