[논문 리뷰] Neural Graph Reasoning: Complex Logical Query Answering Meets Graph Databases

Hong‐Yu Ren, Mikhail Galkin외 3명|arXiv (Cornell University)|2023. 03. 26.

Graph Theory and Algorithms인용 수 7

한 줄 요약

이 논문은 신경망 추론을 그래프 데이터베이스와 통합하는 데 중점을 두어, 그래프, 특징, 임베딩 스토어를 포함하는 신경망 그래프 스토리지와 효율적이고 강건한 다단계 논리 쿼리 처리를 위한 신경망 쿼리 엔진을 통합한 새로운 프레임워크인 신경 그래프 데이터베이스(NGDB)를 소개한다. 주요 기여는 다양한 모odalities에 대한 민첩하고 유연한 인덕티브 추론과 확장 가능한 검색을 가능하게 하여, 누락된 링크 복구에서 기호 시스템을 능가한다는 점이다.

ABSTRACT

Complex logical query answering (CLQA) is a recently emerged task of graph machine learning that goes beyond simple one-hop link prediction and solves a far more complex task of multi-hop logical reasoning over massive, potentially incomplete graphs in a latent space. The task received a significant traction in the community; numerous works expanded the field along theoretical and practical axes to tackle different types of complex queries and graph modalities with efficient systems. In this paper, we provide a holistic survey of CLQA with a detailed taxonomy studying the field from multiple angles, including graph types (modality, reasoning domain, background semantics), modeling aspects (encoder, processor, decoder), supported queries (operators, patterns, projected variables), datasets, evaluation metrics, and applications. Refining the CLQA task, we introduce the concept of Neural Graph Databases (NGDBs). Extending the idea of graph databases (graph DBs), NGDB consists of a Neural Graph Storage and a Neural Graph Engine. Inside Neural Graph Storage, we design a graph store, a feature store, and further embed information in a latent embedding store using an encoder. Given a query, Neural Query Engine learns how to perform query planning and execution in order to efficiently retrieve the correct results by interacting with the Neural Graph Storage. Compared with traditional graph DBs, NGDBs allow for a flexible and unified modeling of features in diverse modalities using the embedding store. Moreover, when the graph is incomplete, they can provide robust retrieval of answers which a normal graph DB cannot recover. Finally, we point out promising directions, unsolved problems and applications of NGDB for future research.

연구 동기 및 목표

• 기존 그래프 데이터베이스가 불완전하거나 노이즈가 있는 그래프에서 복잡한 다단계 논리 쿼리를 처리하는 데 한계를 보이는 문제를 해결하기 위해.
• 예를 들어 텍스트, 표준형, 지식 그래프와 같은 이질적인 데이터 모달리티를 단일 신경 추론 프레임워크 아래 통합하기 위해.
• 재학습 없이도 새로운 관계나 동적 그래프 업데이트에 대해 인덕티브 추론을 가능하게 하기 위해.
• 표현력 있는 쿼리 연산자, 패턴, 프로젝션 변수를 지원하는 확장 가능한 엔드 투 엔드 시스템을 개발하기 위해.
• NGDB에 대한 원칙적인 평가 프레임워크를 수립하고, 신경 쿼리 기획 및 지속 학습 분야의 열린 과제를 규명하기 위해.

제안 방법

• 인코더 네트워크를 사용하여 그래프 스토어, 특징 스토어, 잠재적 임베딩 스토어로 구성된 신경 그래프 스토리지 설계.
• 임베딩 스토어와 상호작용하여 쿼리를 계획하고 실행하는 신경 쿼리 엔진 설계. SPARQL 유사 연산을 시뮬레이션하기 위해 신경 프로세서 사용.
• 재학습 없이도 새로운 관계로 일반화할 수 있도록 인덕티브 인코더 활용 및 치명적인 잊힘 없이 지속 학습 지원.
• 잠재 공간에서 논리 연산자(예: AND, OR)를 모델링하기 위해 삼각형 조건과 조건을 사용하여 불확실성 하에서 강건한 추론 지원.
• 프로세서 유형, 쿼리 복잡도, 스토리지 구성 기반으로 실행 순서를 최적화하는 쿼리 기획자 설계.
• 학습된 유사도 메트릭을 사용한 근사 최근접 이웃(ANN) 검색을 활용하여 수십억 노드 그래프로의 확장성 확보.

실험 결과

연구 질문

• RQ1 복잡한 논리 쿼리를 지원하기 위해 신경 추론을 그래프 데이터베이스 아키텍처와 체계적으로 통합하는 방법은 무엇인가?
• RQ2 불완전하고 동적인 그래프에서 인덕티브이고 확장 가능하며 강건한 추론을 가능하게 하기 위해 필수적인 구성 요소는 무엇인가?
• RQ3 누락된 관계나 잠재적 관계를 복구하는 데서 신경 쿼리 엔진이 기호 엔진을 능가할 수 있는 이유는 무엇인가?
• RQ4 대규모 NGDB에 대한 신경 쿼리 기획자와 효율적인 검색 메커니즘을 설계할 때의 주요 과제는 무엇인가?
• RQ5 기초 모델을 NGDB에 통합하여 추론 및 효율성 향상을 어떻게 달성할 수 있는가?

주요 결과

• 신경 그래프 데이터베이스(NGDB)는 불완전한 그래프에서 실제 간선을 성공적으로 복구하며, 직접 이동 가능한 경로만 검색하는 기호 SPARQL 엔진보다 더 높은 재현율을 달성한다.
• 인덕티브 인코더의 사용으로 재학습 없이도 새로운 관계로 일반화할 수 있으며, 동적이고 변화하는 그래프 스키마를 지원한다.
• 표현력 있는 프로세서 네트워크를 갖춘 신경 쿼리 엔진은 속성 경로, Kleene 스타, 부정 연산과 같은 복잡한 연산자를 실행할 수 있어 기본 합성 쿼리 이상의 기능을 제공한다.
• 프로젝션 변수와 튜플 수준의 출력을 지원하여 중간 바인딩과 다중 속성 결과의 검색이 가능하다.
• 학습된 유사도 메트릭을 사용한 확장 가능한 ANN 기반 검색은 수십억 노드와 수조 개의 간선을 가진 그래프에서 효율적인 추론을 가능하게 한다.
• 논문은 지속 학습, 신경 쿼리 기획, 평가 분야에서의 핵심 과제를 규명하며, 엔드 투 엔드 쿼리 워크로드 평가를 위한 새로운 벤치마크와 메트릭이 필요하다고 제안한다.