[論文レビュー] Sequential Query Encoding For Complex Query Answering on Knowledge Graphs

Jiaxin Bai, Tianshi Zheng+1 more|arXiv (Cornell University)|Feb 25, 2023

Advanced Graph Neural Networks被引用数 5

ひとこと要約

本稿では、知識グラフ上の複雑なクエリに対する答えを求めるための簡素化されたニューラルアプローチとして、順序クエリ符号化（SQE）を提案する。クエリを計算グラフにパースし、パrameter化された演算子を再帰的に実行するのではなく、SQEはクエリをトークン列に線形化し、LSTM や Transformer のようなシーケンスエンコーダを用いて符号化する。SQE は分布内クエリにおいて最先端の性能を達成し、分布外クエリに対しても同等の一般化性能を示しており、直接的なシーケンス符号化が複雑な演算子実行パイプラインを上回ることを示している。

ABSTRACT

Complex Query Answering (CQA) is an important and fundamental task for knowledge graph (KG) reasoning. Query encoding (QE) is proposed as a fast and robust solution to CQA. In the encoding process, most existing QE methods first parse the logical query into an executable computational direct-acyclic graph (DAG), then use neural networks to parameterize the operators, and finally, recursively execute these neuralized operators. However, the parameterization-and-execution paradigm may be potentially over-complicated, as it can be structurally simplified by a single neural network encoder. Meanwhile, sequence encoders, like LSTM and Transformer, proved to be effective for encoding semantic graphs in related tasks. Motivated by this, we propose sequential query encoding (SQE) as an alternative to encode queries for CQA. Instead of parameterizing and executing the computational graph, SQE first uses a search-based algorithm to linearize the computational graph to a sequence of tokens and then uses a sequence encoder to compute its vector representation. Then this vector representation is used as a query embedding to retrieve answers from the embedding space according to similarity scores. Despite its simplicity, SQE demonstrates state-of-the-art neural query encoding performance on FB15k, FB15k-237, and NELL on an extended benchmark including twenty-nine types of in-distribution queries. Further experiment shows that SQE also demonstrates comparable knowledge inference capability on out-of-distribution queries, whose query types are not observed during the training process.

研究の動機と目的

• 再帰的な演算子実行に依存する既存のクエリ符号化（QE）手法の複雑さと、過剰なパrameter化の問題に対処すること。
• 複雑なステップごとの演算子パラメータ化と実行パイプラインを置き換えるために、より単純で統一されたシーケンスエンコーダが可能かどうかを検討すること。
• 分布内および分布外のクエリタイプの両方において、クエリ符号化モデルの忠実性と構成的一般化性能を評価すること。
• Transformer における位置符号化の設計が、知識グラフ推論における構成的一般化に与える影響を調査すること。

提案手法

• SQE は、検索ベースのアルゴリズムを用いて、論理クエリの計算グラフをトークン列に線形化する。
• LSTM や Transformer のようなシーケンスエンコーダを、トークン列に適用し、濃密なベクトル表現（クエリ埋め込み）を生成する。
• クエリ埋め込みを用いて、埋め込み空間における類似度スコアリングにより、答えのエンティティを取得する。これにより、再帰的な演算子実行を回避する。
• 分布外クエリでのパフォーマンス向上を図るため、Transformer に相対的位置符号化（RPE）を採用する。
• エンティティ埋め込みとニューラルエンコーダのパrameterを、エンドツーエンドで共同最適化して学習する。
• 明示的な演算子パラメータ化と実行を回避し、単一の統一された符号化ステップに置き換える。

Figure 1: Three complex query examples and corresponding interpretations expressed in natural language.

実験結果

リサーチクエスチョン

• RQ1 知識グラフのクエリ符号化において、直接的なシーケンス符号化アプローチが、標準的な演算子パラメータ化と実行パイプラインを上回ることができるか？
• RQ2 SQE は、既存の最先端のクエリ符号化手法と比較して、分布内クエリに対してどの程度の性能を示すか？
• RQ3 SQE は、学習時に見られなかった分布外クエリに対して、どの程度一般化できるか？
• RQ4 Transformer における位置符号化の設計が、複雑なクエリの答えを求める際の構成的一般化に影響を与えるか？

主な発見

• SQE は、FB15k、FB15k-237、NELL において、分布内クエリに対して、既存のニューラルクエリ符号化手法を上回る最先端の性能を達成した。
• SQE は、分布外クエリにおいても、先行研究と同等の知識推論能力を示しており、強力な構成的一般化能力を有していることが示された。
• Transformer に相対的位置符号化（RPE）を適用することで、分布外クエリでのパフォーマンスが顕著に向上した。これは、標準的な位置符号化が一般化を妨げている可能性を示唆している。
• 結果から、既存の QE 手法における再帰的演算子実行の複雑さは、不必要に高い可能性があり、単一のシーケンスエンコーダでも、優れたまたは同等の結果が得られることわかった。
• SQE の単純さ—線形化とシーケンス符号化に依存する—が、集合演算や射影関数の明示的モデリングを必要とせず、効果的であることが実証された。

Figure 2: (A) The example complex query with the meaning of Finding the substances that interact with the proteins associated with Alzheimer’s or Mad cow disease. (B) The computational graph of the complex query; (C) The linearized computational graph with proper indentations as a sequence of tokens