[論文レビュー] Beta Embeddings for Multi-Hop Logical Reasoning in Knowledge Graphs

Hongyu Ren, Jure Leskovec|arXiv (Cornell University)|Oct 22, 2020

Advanced Graph Neural Networks参考文献 37被引用数 74

ひとこと要約

BetaE はエンティティとクエリを Beta 分布として埋め込み、欠落した知識グラフ上での多段階の一階論理推論を可能にし、否定を含む全ての FOL 演算子をサポートし、EPFO クエリおよびそれ以上で最先端の結果を提供します。

ABSTRACT

One of the fundamental problems in Artificial Intelligence is to perform complex multi-hop logical reasoning over the facts captured by a knowledge graph (KG). This problem is challenging, because KGs can be massive and incomplete. Recent approaches embed KG entities in a low dimensional space and then use these embeddings to find the answer entities. However, it has been an outstanding challenge of how to handle arbitrary first-order logic (FOL) queries as present methods are limited to only a subset of FOL operators. In particular, the negation operator is not supported. An additional limitation of present methods is also that they cannot naturally model uncertainty. Here, we present BetaE, a probabilistic embedding framework for answering arbitrary FOL queries over KGs. BetaE is the first method that can handle a complete set of first-order logical operations: conjunction ($\wedge$), disjunction ($\vee$), and negation ($ eg$). A key insight of BetaE is to use probabilistic distributions with bounded support, specifically the Beta distribution, and embed queries/entities as distributions, which as a consequence allows us to also faithfully model uncertainty. Logical operations are performed in the embedding space by neural operators over the probabilistic embeddings. We demonstrate the performance of BetaE on answering arbitrary FOL queries on three large, incomplete KGs. While being more general, BetaE also increases relative performance by up to 25.4% over the current state-of-the-art KG reasoning methods that can only handle conjunctive queries without negation.

研究の動機と目的

• 大規模で不完全な KG 上で任意の FOL クエリに答える課題を動機づけ、解決する。
• 否定を含む全ての FOL 演算子をサポートする確率的埋め込みフレームワークを開発する。
• Beta 分布上で動作するニューラル演算子を設計し、関係射影、交差、否定を閉じた、スケーラブルな方法で実行する。
• Beta 埋め込みを通じて不確実性を明示的にモデル化し、微分エントロピーで定量化する。
• 複雑なクエリに対する標準的な KG ベンチマークで最先端の性能を示し、不確実性モデリング能力を評価する。

提案手法

• エンティティとクエリを [0,1] 上の Beta 分布として埋め込み、確率的推論と境界付きサポート特性を可能にする。
• 関係固有の MLP を用いた確率的射影を実装: S' = MLP_r(S) により入力 Beta 埋め込みを知識グラフの関係を通して写像する。
• 確率的交差を PDF の重み付き積として定義: p_SInter ∝ ∏ p_Si^{wi}, 重みはアテンションによって学習され、総和が 1 になる。
• Beta パラメータを補集合に近い形へ変換して確率的否定を定義する: N([α,β]) = [1/α, 1/β]、閉じた論理演算を可能にする。
• クエリ埋め込みと回答/エンティティ埋め込み間の KL 発散に基づく距離を用いたネガティブサンプリング目的関数を最小化して訓練する。
• ディオの法則を利用して、交差と否定を用いて離合を近似し、結合の数に対して線形計算量を維持しつつ完全な FOL 処理を可能にする。

実験結果

リサーチクエスチョン

• RQ1 Beta 埋め込みは不完全な KG 上で任意の FOL クエリ（否定を含む）を表現できますか？
• RQ2 確率的演算子（射影、交差、否定）は論理的性質と閉包性を反映するようにどのように振る舞いますか？
• RQ3 BetaE 埋め込みは不確実性を正確にモデルし、埋め込みエントロピーとクエリの解集合の大きさとの相関を示しますか？
• RQ4 EPFO クエリに限定された方法と比較して、標準的な KG ベンチマークで BetaE はどのように性能を発揮しますか？
• RQ5 否定を含むクエリを扱え、見たことのないクエリ構造に対しても一般化できますか？

主な発見

• BetaE はEPFO クエリで最先端または競合的な結果を達成し、否定を欠く従来手法に対して相対改善が最大で 25.4% である。
• BetaE は否定を含む任意の FOL クエリを正常に処理し、FB15k、FB15k-237、NELL995 のデータセットでベースラインを上回る。
• 確率的 Beta 埋め込みはクエリの不確実性を捉え、微分エントロピーと解集合サイズの強い相関を示す（ベースラインに対して最大で 77% の相対改善）。
• 否定と交差演算子は BetaE で閉じており、N(N(S)) = S および I(S,...,S) = S（同一入力を使用時）となり、論理的一貫性を保証する。
• 埋め込みエントロピーを用いて回答有り/無しのクエリを分類でき、NELL で ROC-AUC が最大 0.844 に達する。