[논문 리뷰] Answering Complex Logical Queries on Knowledge Graphs via Query Computation Tree Optimization

Yushi Bai, Xin Lv외 2명|arXiv (Cornell University)|2022. 12. 19.

Advanced Graph Neural Networks인용 수 6

한 줄 요약

이 논문은 미완성 지식 그래프에서 복잡한 논리 쿼리에 대해 정확한 최적 해를 효율적으로 계산하는 데 기반한 새로운 최적화 기법 QTO(Query Computation Tree Optimization)를 제안한다. 이는 트리 구조의 계산 그래프를 활용하여 구조적 독립성을 이용한다. QTO는 쿼리 계산 트리에 대해 정방향-역방향 전파를 적용하고, 구조적 독립성을 활용함으로써 최신 기술 수준의 성능을 달성하며, 복잡한 쿼리 답변에서 이전 방법들보다 평균 22% 향상되었고, 중간 단계의 엔티티 할당을 해석할 때 90% 이상의 정확도를 기록한다.

ABSTRACT

Answering complex logical queries on incomplete knowledge graphs is a challenging task, and has been widely studied. Embedding-based methods require training on complex queries, and cannot generalize well to out-of-distribution query structures. Recent work frames this task as an end-to-end optimization problem, and it only requires a pretrained link predictor. However, due to the exponentially large combinatorial search space, the optimal solution can only be approximated, limiting the final accuracy. In this work, we propose QTO (Query Computation Tree Optimization) that can efficiently find the exact optimal solution. QTO finds the optimal solution by a forward-backward propagation on the tree-like computation graph, i.e., query computation tree. In particular, QTO utilizes the independence encoded in the query computation tree to reduce the search space, where only local computations are involved during the optimization procedure. Experiments on 3 datasets show that QTO obtains state-of-the-art performance on complex query answering, outperforming previous best results by an average of 22%. Moreover, QTO can interpret the intermediate solutions for each of the one-hop atoms in the query with over 90% accuracy. The code of our paper is at https://github.com/bys0318/QTO.

연구 동기 및 목표

• 기존의 임bedding 기반 방법이 일반화 및 해석 가능성에서 어려움을 겪는, 부족한 지식 그래프에서 복잡한 논리 쿼리를 해결하는 데 도전한다.
• 최적화 기반 접근법에서 발생하는 지수적 증가하는 탐색 공간으로 인해 근사치로 인해 정확도가 제한되는 문제를 극복한다.
• 복잡한 쿼리에 대한 학습 없이도 정확한 최적 해를 찾는 방법을 개발한다.
• 논리 쿼리의 중간 변수에 대한 충실하고 해석 가능한 엔티티 할당을 가능하게 한다.
• 장기적 추론 체인과 간단한 쿼리 모두에서 이론적으로 최적의 성능과 높은 효율성을 확보한다.

제안 방법

• QTO는 복잡한 논리 쿼리를 서브쿼리 간의 구조적 독립성을 활용하기 위해 쿼리 계산 트리로 간주하는 트리 형태의 계산 그래프로 재구성한다.
• 각 변수 노드를 루트로 하는 서브쿼리의 엔티티 할당 가능도를 체계적으로 최대화하기 위해 정방향 전파를 수행한다.
• 가장 가능성 높은 엔티티 할당을 복구하기 위해 argmax 연산을 사용하는 역방향 전파를 통해 중간 결과의 해석 가능성을 보장한다.
• QTO는 사전 학습된 KGE 모델을 활용해 한 단계 이내 원자적 원소를 점수화하고, 이를 트리 최적화 프레임워크에 통합한다.
• 지식 그래프의 인접 행렬에 기반한 희소 행렬 연산을 통해 GPU 가속 기반 추론을 가능하게 한다.
• 이론적 분석을 통해 QTO가 주어진 설정 하에서 전역 최적 해를 찾을 수 있음을 증명한다.

실험 결과

연구 질문

• RQ1 학습 없이도 복잡한 논리 쿼리에 대해 부족한 지식 그래프에서 정확한 최적 해를 도출할 수 있는 최적화 기반 방법이 가능한가?
• RQ2 쿼리 계산 트리의 구조적 독립성을 어떻게 활용하여 탐색 공간을 줄이고 효율적인 계산을 가능하게 할 수 있는가?
• RQ3 QTO는 CQD와 같은 근사 기반 방법에 비해 분포 외 쿼리 구조에서 정확도와 강건성 면에서 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 QTO는 결측 링크가 없는 간단한 쿼리와 장기적 추론 체인 모두에서 높은 정확도와 해석 가능성을 유지할 수 있는가?
• RQ5 기존 방법들과 비교해 QTO는 답변 집합의 기수를 예측하는 데 어떻게 성능을 발휘하는가?

주요 결과

• QTO는 세 가지 벤치마크 데이터셋에서 복잡한 쿼리 답변 성능을 이전 최신 기술 수준의 방법보다 평균 22% 향상시켰다.
• 존재성 양의 일阶논리 쿼리에서 QTO는 이전 SOTA 방법 대비 성능을 13.5% 향상시켰다.
• 부정을 포함한 쿼리에서는 QTO가 이전 SOTA 방법 대비 37.5% 향상된 성능을 기록했다.
• QTO는 결측 링크가 없는 단순 쿼리에 대해 정확한 해를 보장하는 최초의 방법으로, 이러한 경우에서 Hits@1이 100%를 기록했다.
• 중간 단계의 엔티티 할당을 90% 이상의 정확도로 해석하여 높은 해석 가능성을 제공했다.
• QTO는 GNN-QE에 비해 기수 예측에서 뚜렷한 우월성을 보였으며, 답변 집합 크기 추정에서 평균 절대 퍼센트 오차가 낮았다.