[論文レビュー] Neural Methods for Logical Reasoning Over Knowledge Graphs

Alfonso Amayuelas, Shuai Zhang+2 more|arXiv (Cornell University)|Sep 28, 2022

Advanced Graph Neural Networks被引用数 10

ひとこと要約

この論文は、結合（∧）、論理和（∨）、否定（¬）を含む完全な第一階論理（FOL）クエリをサポートする、知識グラフ上の論理的推論のためのニューラルネットワークベースのフレームワークを提案する。クエリとエンティティを共有の1点ベクタ空間に埋め込み、論理演算子をニューラルネットワークで実装することで、最先端手法よりも相対的に10%の向上を達成し、従来の1点埋め込みベースラインよりも30%以上向上した。

ABSTRACT

Reasoning is a fundamental problem for computers and deeply studied in Artificial Intelligence. In this paper, we specifically focus on answering multi-hop logical queries on Knowledge Graphs (KGs). This is a complicated task because, in real-world scenarios, the graphs tend to be large and incomplete. Most previous works have been unable to create models that accept full First-Order Logical (FOL) queries, which include negative queries, and have only been able to process a limited set of query structures. Additionally, most methods present logic operators that can only perform the logical operation they are made for. We introduce a set of models that use Neural Networks to create one-point vector embeddings to answer the queries. The versatility of neural networks allows the framework to handle FOL queries with Conjunction ($\wedge$), Disjunction ($\vee$) and Negation ($ eg$) operators. We demonstrate experimentally the performance of our model through extensive experimentation on well-known benchmarking datasets. Besides having more versatile operators, the models achieve a 10\% relative increase over the best performing state of the art and more than 30\% over the original method based on single-point vector embeddings.

研究の動機と目的

• 既存のモデルが完全な第一階論理（FOL）クエリ、特に否定を含むクエリを処理できないという限界を解決すること。
• 結合（∧）、論理和（∨）、否定（¬）を含む複雑なクエリ構造をサポートする統一的で柔軟な論理的推論フレームワークを開発すること。
• 大規模で不完全な知識グラフにおけるマルチホップ論理的推論タスクのパフォーマンスを、ニューラルネットワークベースの論理演算子を活用することで向上させること。
• ニューラルネットワークが論理演算を効果的に学習・一般化できることを示し、幾何的または硬直的な記号的アプローチを上回ること。

提案手法

• ニューラルネットワークを用いて、クエリとエンティティを共有の1点ベクタ空間に埋め込む。
• 論理演算子（結合、論理和、否定）を学習可能なニューラルモジュールとして実装し、FOLクエリ上でエンドツーエンドの学習を可能にする。
• ベクタ空間内の最近傍探索を用いて、クエリ埋め込みとの類似度に基づいて候補エンティティをランク付けする。
• 存在記号と否定条件を含む完全なFOLクエリをサポートし、以前の手法では処理できなかった。
• MLP、MLP-Mixer、アテンションベースのモデルなどのバリエーションを含むアーキテクチャを用いて、推論に異なるインダクティブバイアスを探索する。
• 対照的学習を用いて、クエリ埋め込みと正解エンティティとの距離を最適化する形で訓練する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークベースのフレームワークは、知識グラフ上で否定を含む完全な第一階論理（FOL）クエリを効果的に処理できるか？
• RQ2 ニューラル演算子に基づく推論システムのパフォーマンスは、幾何的または記号的ベースラインと比較してマルチホップ論理クエリでどう異なるか？
• RQ3 学習可能なニューラル演算子は、結合、論理和、否定といった多様な論理演算にどの程度一般化できるか？
• RQ4 ニューラル論理演算子を用いた1点ベクタ埋め込みは、不完全な知識グラフにおける推論で、既存の最先端手法を上回るか？
• RQ5 否定的クエリ、例えば「Aを満たすがBを満たさないXを検索する」ようなクエリにモデルは一般化できるか？（これは過去の研究でしばしば除外されている。）

主な発見

• 提案されたモデルは、FB15k、FB15k-237、NELL995の全データセットでEPFO（存在記号、結合、論理和）クエリにおいて、最もパフォーマンスの良い最先端手法よりも相対的に10%の向上を達成した。
• ハミルトングループ（2018）が提唱した元の1点埋め込み法（GQE）よりも30%以上の向上を示し、ニューラル論理演算子の有効性を裏付けた。
• 2ベクタアプローチのバリエーションが、EPFOクエリにおいてFB15kで最高のMRR（45.8）を達成し、ベースのMLPやアテンションベースのバリエーションを上回った。
• 否定を含む完全なFOLクエリにおいて、FB15kで14.5のMRRを達成し、BetaE（11.8 MRR）を大きく上回った。これにより、否定クエリの処理能力が裏付けられた。
• アテンション機構と2ベクタアプローチが、ベースのMLPよりもパフォーマンスを向上させた。これは、アーキテクチャの選択が推論品質に顕著な影響を与えることを示している。
• 2in、3in、pniといった否定的クエリ構造を効果的に処理でき、それぞれFB15kでMRRが17.2、17.8、15.2を記録し、複雑な論理形式に対しても高い耐性を示した。