[논문 리뷰] Sequential Query Encoding For Complex Query Answering on Knowledge Graphs

Jiaxin Bai, Tianshi Zheng외 1명|arXiv (Cornell University)|2023. 02. 25.

Advanced Graph Neural Networks인용 수 5

한 줄 요약

이 논문은 지식 그래프에서 복잡한 질의를 해결하기 위한 간소화된 신경망 접근법인 순차 질의 인코딩(Sequential Query Encoding, SQE)을 제안한다. 질의를 계산 그래프로 파싱하고 파rameter화된 연산자를 순차적으로 실행하는 대신, SQE는 질의를 토큰 시퀀스로 선형화하고, LSTM 또는 Transformer와 같은 시퀀스 인코더를 사용해 이를 인코딩한다. SQE는 분포 내 질의에서 최신 기술 성능(SOTA)을 달성하고 분포 외 질의에 대해서도 비교적 우수한 일반화 성능를 보이며, 직접적인 시퀀스 인코딩 방식이 복잡한 연산자 실행 파이프라인을 능가할 수 있음을 보여준다.

ABSTRACT

Complex Query Answering (CQA) is an important and fundamental task for knowledge graph (KG) reasoning. Query encoding (QE) is proposed as a fast and robust solution to CQA. In the encoding process, most existing QE methods first parse the logical query into an executable computational direct-acyclic graph (DAG), then use neural networks to parameterize the operators, and finally, recursively execute these neuralized operators. However, the parameterization-and-execution paradigm may be potentially over-complicated, as it can be structurally simplified by a single neural network encoder. Meanwhile, sequence encoders, like LSTM and Transformer, proved to be effective for encoding semantic graphs in related tasks. Motivated by this, we propose sequential query encoding (SQE) as an alternative to encode queries for CQA. Instead of parameterizing and executing the computational graph, SQE first uses a search-based algorithm to linearize the computational graph to a sequence of tokens and then uses a sequence encoder to compute its vector representation. Then this vector representation is used as a query embedding to retrieve answers from the embedding space according to similarity scores. Despite its simplicity, SQE demonstrates state-of-the-art neural query encoding performance on FB15k, FB15k-237, and NELL on an extended benchmark including twenty-nine types of in-distribution queries. Further experiment shows that SQE also demonstrates comparable knowledge inference capability on out-of-distribution queries, whose query types are not observed during the training process.

연구 동기 및 목표

• 기존 질의 인코딩(QE) 방법에서 신경화된 연산자의 재귀적 실행에 의존함으로써 발생하는 복잡성과 잠재적인 과도한 파ram터화 문제를 해결하기 위해.
• 질의 인코딩에서 다중 단계의 연산자 파aram터화 및 실행 파이프라인을 대체할 수 있는 더 단순하고 통합된 시퀀스 인코더가 가능한지 탐색하기 위해.
• 분포 내 및 분포 외 질의 유형 모두에서 질의 인코딩 모델의 신뢰성과 조합 일반화 능력을 평가하기 위해.
• 지식 그래프 추론을 위한 트랜스포머에서 위치 인코딩 설계가 조합 일반화에 어떤 영향을 미치는지 조사하기 위해.

제안 방법

• SQE는 검색 기반 알고리즘을 사용해 논리적 질의의 계산 그래프를 토큰 시퀀스로 선형화한다.
• LSTM 또는 트랜스포머와 같은 시퀀스 인코더를 토큰 시퀀스에 적용하여 고밀도 벡터 표현(질의 임베딩)을 생성한다.
• 질의 임베딩을 사용해 임베딩 공간 내의 유사도 스코어링을 통해 답변 엔티티를 검색하며, 재귀적 연산자 실행을 생략한다.
• 분포 외 질의에서의 성능 향상을 위해 트랜스포머에 상대적 위치 인코딩(RPE)을 적용한다.
• 엔티티 임베딩과 신경 인코더 파aram터를 함께 최적화하여 엔드 투 엔드로 모델을 훈련한다.
• 명시적 연산자 파aram터화 및 실행을 피하고, 단일한 통합 인코딩 단계로 대체한다.

Figure 1: Three complex query examples and corresponding interpretations expressed in natural language.

실험 결과

연구 질문

• RQ1 지식 그래프의 질의 인코딩에서 표준적인 연산자 파aram터화 및 실행 파이프라인에 비해 직접적인 시퀀스 인코딩 접근법이 우월한가?
• RQ2 기존 최신 기술 질의 인코딩 방법과 비교해 SQE는 분포 내 질의에서 어떻게 성능를 발휘하는가?
• RQ3 SQE는 훈련 중에 볼 수 없었던 분포 외 질의에 얼마나 잘 일반화되는가?
• RQ4 트랜스포머에서의 위치 인코딩 설계가 복잡한 질의 답변에서 조합 일반화에 영향을 미치는가?

주요 결과

• SQE는 FB15k, FB15k-237, NELL에서 분포 내 질의에서 기존 신경 질의 인코딩 방법을 능가하는 최신 기술 성능를 달성한다.
• SQE는 분포 외 질의에서 이전 방법과 비교해 유사한 지식 추론 능력을 보이며, 강력한 조합 일반화 능력을 나타낸다.
• 트랜스포머에서 상대적 위치 인코딩(RPE)을 사용함으로써 분포 외 질의에서 성능 향상이著명하게 향상되었으며, 이는 표준 위치 인코딩이 일반화를 저해할 수 있음을 시사한다.
• 기존 QE 방법에서의 재귀적 연산자 실행의 복잡성이 불필요하게 높을 수 있음을 보여주며, 단일 시퀀스 인코더만으로도 우수하거나 유사한 성능를 달성할 수 있음을 확인했다.
• 선형화와 시퀀스 인코딩에 의존하는 SQE의 단순성은 집합 연산자나 사영 함수를 명시적으로 모델링할 필요 없이도 효과적임을 입증했다.

Figure 2: (A) The example complex query with the meaning of Finding the substances that interact with the proteins associated with Alzheimer’s or Mad cow disease. (B) The computational graph of the complex query; (C) The linearized computational graph with proper indentations as a sequence of tokens