[论文解读] Beta Embeddings for Multi-Hop Logical Reasoning in Knowledge Graphs

Hongyu Ren, Jure Leskovec|arXiv (Cornell University)|Oct 22, 2020

Advanced Graph Neural Networks参考文献 37被引用 74

一句话总结

BetaE 将实体和查询嵌入为 Beta 分布，以在不完整的知识图上实现多跳的一阶逻辑推理，支持包括否定在内的完整 FOL 运算符，并在 EPFO 查询及更广泛场景中取得最先进的结果。

ABSTRACT

One of the fundamental problems in Artificial Intelligence is to perform complex multi-hop logical reasoning over the facts captured by a knowledge graph (KG). This problem is challenging, because KGs can be massive and incomplete. Recent approaches embed KG entities in a low dimensional space and then use these embeddings to find the answer entities. However, it has been an outstanding challenge of how to handle arbitrary first-order logic (FOL) queries as present methods are limited to only a subset of FOL operators. In particular, the negation operator is not supported. An additional limitation of present methods is also that they cannot naturally model uncertainty. Here, we present BetaE, a probabilistic embedding framework for answering arbitrary FOL queries over KGs. BetaE is the first method that can handle a complete set of first-order logical operations: conjunction ($\wedge$), disjunction ($\vee$), and negation ($ eg$). A key insight of BetaE is to use probabilistic distributions with bounded support, specifically the Beta distribution, and embed queries/entities as distributions, which as a consequence allows us to also faithfully model uncertainty. Logical operations are performed in the embedding space by neural operators over the probabilistic embeddings. We demonstrate the performance of BetaE on answering arbitrary FOL queries on three large, incomplete KGs. While being more general, BetaE also increases relative performance by up to 25.4% over the current state-of-the-art KG reasoning methods that can only handle conjunctive queries without negation.

研究动机与目标

• 激发并解决在大型、不完整的知识图谱上回答任意 FOL 查询的挑战。
• 开发一个支持包括否定在内的所有 FOL 操作符的概率嵌入框架。
• 设计在 Beta 分布上工作的神经算子，以在一个封闭、可扩展的方式执行关系投影、交集和否定。
• 通过 Beta 嵌入显式建模不确定性，并通过微分熵进行量化。
• 在标准知识图基准上展示对复杂查询的最新性能，并评估不确定性建模能力。

提出的方法

• 将实体和查询嵌入为在 [0,1] 上的 Beta 分布，允许概率推理和有界支持性质。
• 通过关系特定的多层感知机实现概率投影：S' = MLP_r(S)，将输入的 Beta 嵌入通过知识图中的关系进行映射。
• 将概率交集定义为一定权重的概率密度函数乘积：p_SInter ∝ ∏ p_Si^{wi}，权重通过注意力机制学习并归一化为 1。
• 通过将 Beta 参数转换为近似补集来定义概率否定，形式为 N([α,β]) = [1/α, 1/β]，从而实现闭合的逻辑运算。
• 通过最小化基于 KL 散度的距离的负采样目标来训练，计算查询嵌入与答案/实体嵰嵌入之间的距离。
• 利用德摩根定律通过交集和否定来近似析取，从而实现对完整的一阶逻辑的处理，同时在并集数量的线性复杂度下维持。

实验结果

研究问题

• RQ1 Beta 嵌入能否在不完整的知识图上表示任意 FOL 查询（包括否定）？
• RQ2 概率算子（投影、交集、否定）如何表现以体现逻辑性质和闭合性？
• RQ3 BetaE 嵌入是否能准确建模不确定性，并将嵌入熵与查询答案集合的基数相关联？
• RQ4 相比仅限于 EPFO 查询的方法，BetaE 在标准 KG 基准上的表现如何？
• RQ5 模型是否能够处理带有否定的查询并仍然推广到未见过的查询结构？

主要发现

• BetaE 在 EPFO 查询上取得了最先进或具竞争力的结果，相对于缺乏否定的先前方法，相对提升高达 25.4%。
• BetaE 成功处理包括否定在内的任意 FOL 查询，在数据集 FB15k、FB15k-237 和 NELL995 上超越基线。
• 概率 Beta 嵌入捕捉查询的不确定性，显示微分熵与答案集合大小之间的强相关性（相对于基线最高提升可达 77%）。
• 否定和交集算子在 BetaE 下闭合，当输入相同时，N(N(S)) = S 且 I(S,...,S) = S，确保逻辑一致性。
• 该模型可以使用嵌入熵对有无答案的查询进行分类，在 NELL 数据集上达到最高 ROC-AUC 0.844。