[論文レビュー] Neural-Symbolic Entangled Framework for Complex Query Answering

Zezhong Xu, Wen Zhang+3 more|arXiv (Cornell University)|Sep 19, 2022

Advanced Graph Neural Networks被引用数 5

ひとこと要約

この論文では、知識グラフ埋め込み（KGE）と記号的推論を統合して、不完全な知識グラフ上の複雑なクエリに対する回答を向上させる神経記号的エンタングルフレームワーク、ENeSyを提案する。神経的予測と記号的論理演算をパラメータ化しない形でエンタングルすることで、累積誤差を低減し、KGEの不完全性に対しても対応可能となり、リンク予測の学習のみで訓練された場合でもSOTA性能を達成する。

ABSTRACT

Answering complex queries over knowledge graphs (KG) is an important yet challenging task because of the KG incompleteness issue and cascading errors during reasoning. Recent query embedding (QE) approaches to embed the entities and relations in a KG and the first-order logic (FOL) queries into a low dimensional space, answering queries by dense similarity search. However, previous works mainly concentrate on the target answers, ignoring intermediate entities' usefulness, which is essential for relieving the cascading error problem in logical query answering. In addition, these methods are usually designed with their own geometric or distributional embeddings to handle logical operators like union, intersection, and negation, with the sacrifice of the accuracy of the basic operator - projection, and they could not absorb other embedding methods to their models. In this work, we propose a Neural and Symbolic Entangled framework (ENeSy) for complex query answering, which enables the neural and symbolic reasoning to enhance each other to alleviate the cascading error and KG incompleteness. The projection operator in ENeSy could be any embedding method with the capability of link prediction, and the other FOL operators are handled without parameters. With both neural and symbolic reasoning results contained, ENeSy answers queries in ensembles. ENeSy achieves the SOTA performance on several benchmarks, especially in the setting of the training model only with the link prediction task.

研究の動機と目的

• 中間エンティティを単にターゲットの答えを超えて活用することで、マルチホップ知識グラフ推論における累積誤差の課題に対処する。
• ユニオン、インターセクション、ネガションなどの複雑な論理演算子を扱う際に、射影の正確性を犠牲にする既存のクエリ埋め込み手法の限界を克服する。
• 再訓練やアーキテクチャの変更なしに、既存のKGEモデル（例：TransE、RotatE）を複雑なクエリに一般化可能にする。
• パラメータ化された埋め込みを用いずに、すべての第一階論理演算子（否定を含む）をサポートし、複雑なクエリのアノテーションが限られた状況でもリンク予測データのみで学習可能にする。
• 神経的推論と記号的推論の相互強化を促進し、知識グラフの不完全性や推論誤差に対する耐性を向上させる。

提案手法

• リンク予測のためのエンティティおよび関係の埋め込みを生成するために、任意のKGEモデル（例：RotatE）を神経的コンponentとして統合する。
• エンティティ集合の集合演算を用いて、ユニオン、インターセクション、ネガションなどの論理演算を、これらの演算子の学習パラメータを用いずに記号的推論で計算する。
• 推論時にアンサンブルスコアリングによる予測の融合を通じて、神経的および記号的結果をエンタングルし、両方の推論経路の性能を向上させる。
• 全フレームワークをリンク予測の監視のみで学習させることで、複雑なクエリのアノテーションが限られた低リソース環境への展開を可能にする。
• KGEが知識グラフの不完全性により見逃したエンティティを含めることで神経的予測を改善し、逆に誤った神経的予測を記号的推論で是正することで、相互に補完する。

実験結果

リサーチクエスチョン

• RQ1 記号的推論は、マルチホップクエリにおける累積誤差を低減することで神経的推論を改善できるか？
• RQ2 神経的推論は、知識グラフの不完全性の影響を軽減することで記号的推論を改善できるか？
• RQ3 神経的および記号的予測のアンサンブルは、単体の各コンポonentよりも優れた全体的な性能を達成できるか？
• RQ4 ENeSyは、複雑なクエリの監視なしにリンク予測のみで学習した場合でもSOTA性能を達成できるか？
• RQ5 神経記号的エンタングルメカニズムは、さまざまなクエリタイプにおいて推論の耐性を向上させるのにどの程度効果的か？

主な発見

• ENeSyは累積誤差を顕著に低減した：シンボリック支援を受けることで、3ホップクエリにおけるMRRが純粋なKGEモデルと比較して最大14.0%向上した。
• 記号的推論のみでも、神経的埋め込みを組み込むことで、近似SOTA性能（FB15K-237でのMRR ~0.45）を達成し、単純な走査手法を大きく上回った。
• 神経的および記号的予測のアンサンブルは、クエリタイプ全体で純粋な神経モデル比で平均15.3%、純粋な記号モデル比で28.6%のMRR向上を達成した。
• ENeSyは、複雑なクエリの監視を用いたベースラインと比較して、FB15K-237およびNELL-995でSOTA性能を達成した。これは、リンク予測のみで学習した場合でも同様に優れた性能を示した。
• モデルの性能は多様なクエリタイプにわたり一貫しており、2i/3i、2u/up、2in/3in、およびその他の複雑なパターンにおいてMRRが一貫して向上した。