[논문 리뷰] Embedding Logical Queries on Knowledge Graphs

William L. Hamilton, Payal Bajaj외 3명|arXiv (Cornell University)|2018. 06. 05.

Advanced Graph Neural Networks인용 수 62

한 줄 요약

이 논문은 Graph Query Embedding (GQE)를 도입합니다. 이는 저차원 공간에서 기하학적 투영과 교집합을 학습하여 불완전한 지식 그래프에서 합류(conjunctive) 논리 질의에 답하는 임베딩 기반 프레임워크로, 질의 평가를 효율적으로 가능하게 합니다.

ABSTRACT

Learning low-dimensional embeddings of knowledge graphs is a powerful approach used to predict unobserved or missing edges between entities. However, an open challenge in this area is developing techniques that can go beyond simple edge prediction and handle more complex logical queries, which might involve multiple unobserved edges, entities, and variables. For instance, given an incomplete biological knowledge graph, we might want to predict "em what drugs are likely to target proteins involved with both diseases X and Y?" -- a query that requires reasoning about all possible proteins that {\em might} interact with diseases X and Y. Here we introduce a framework to efficiently make predictions about conjunctive logical queries -- a flexible but tractable subset of first-order logic -- on incomplete knowledge graphs. In our approach, we embed graph nodes in a low-dimensional space and represent logical operators as learned geometric operations (e.g., translation, rotation) in this embedding space. By performing logical operations within a low-dimensional embedding space, our approach achieves a time complexity that is linear in the number of query variables, compared to the exponential complexity required by a naive enumeration-based approach. We demonstrate the utility of this framework in two application studies on real-world datasets with millions of relations: predicting logical relationships in a network of drug-gene-disease interactions and in a graph-based representation of social interactions derived from a popular web forum.

연구 동기 및 목표

• 불완전한 KGs에서 단일 간선 예측을 넘어 복잡한 합류 질의에 답하는 동기를 제시한다.
• 합류 질의를 저차원 임베딩으로 매핑하는 확장 가능한 임베딩 기반 프레임워크를 개발한다.
• 기하학적 연산이 질의 표상(denotations)을 근사하고 효율적인 추론을 지원할 수 있음을 시연한다.
• 대규모 실제 데이터셋(생물의학 약물–유전자–질병 네트워크 및 Reddit 상호작용)에서 평가한다.
• 복잡한 질의에 대한 학습이 엣지 중심 학습보다 성능을 향상시킨다는 것을 보여준다.

제안 방법

• 학습 가능한 노드 임베딩으로 그래프의 노드를 d차원 공간에 임베딩한다.
• 논리 간선을 P라는 기하학적 투영 연산자로 표현하고, q를 P(q, tau) = R_tau q로 매핑한다.
• 여러 질의 임베딩을 교집합 임베딩으로 집계하는 기하학적 교집합 연산자 I를 도입한다.
• 앵커 노드와 변수에 걸친 P와 I의 DAG 구조적 전파를 통해 질의 임베딩을 계산하기 위해 Algorithm 1을 사용한다.
• 질의 q에 대한 노드 v의 점수는 코사인 유사도 score(q, z_v)을 통해 매긴다.
• 양의 예제와 음의 예제를 이용한 최대간극 손실(max-margin loss)로 P, I 및 노드 임베딩을 학습하며, 교집합 질의에는 어려운 음수를 활용한다.
• 임베딩 공간에서 최근접 이웃 탐색(예: locality-sensitive hashing)을 통해 효율적인 추론을 수행한다.

실험 결과

연구 질문

• RQ1 불완전한 지식 그래프에 대한 합류(conjunctive) 그래프 질의를 임베딩으로 효율적으로 답할 수 있는가?
• RQ2 학습된 기하학적 연산자 소수 세트가 존재적으로 양화된 질의 해석을 충실히 표현할 수 있는가?
• RQ3 복잡한 질의에서 GQE가 열거 기반의 엣지 예측 기반 기준선과 어떻게 비교되는가?
• RQ4 복잡한 질의에 대한 학습이 에지 수준 학습을 넘어서 하류 성능을 향상시키는가?
• RQ5 수백만 간선 규모의 실제 데이터셋에서 GQE의 확장성은 어떠한가?

주요 결과

• GQE는 Bio 및 Reddit 데이터셋에서 강력한 예측 성능을 달성하며, Bilinear GQE가 최상의 성능을 보인다(Bio AUC 91.0; Reddit AUC 76.4).
• 제한된 no-bound-variables 설정에서 GQE가 열거 기준선보다 우수하다.
• 복잡한 질의 학습은 간선 학습만 대비 AUC를 실질적으로 향상시키며(데이터셋 평균 약 13%, p<0.001).
• 질의 임베딩은 질의 간선 수에 비례하는 선형 시간 복잡도를 가능하게 하며, 최근접 이웃 탐색을 통한 추론은 부분선형으로 수행된다.
• 본 프레임워크는 DistMult 및 TransE 투영을 사용하는 변형을 지원하며, 테스트된 구성 중 Bilinear가 종종 최상의 결과를 낸다.