[论文解读] Logic Embeddings for Complex Query Answering

Francois Luus, Prithviraj Sen+5 more|arXiv (Cornell University)|Feb 28, 2021

Logic, Reasoning, and Knowledge参考文献 30被引用 7

一句话总结

本文提出逻辑嵌入（Logic Embeddings），一种新颖的方法，通过使用斯科伦化（Skolemisation）将存在量词的一阶逻辑查询转换为实值逻辑，从而在不完整知识图谱上实现高效且准确的复杂查询问答。该方法通过在真值边界上使用t-范数（t-norms）建模集合运算，实现直接的可满足性评估，提升了不确定性建模能力，并在训练速度上比基于密度的方法（如Beta嵌入）快2–3倍，同时在否定处理和答案集大小预测方面表现更优。

ABSTRACT

Answering logical queries over incomplete knowledge bases is challenging because: 1) it calls for implicit link prediction, and 2) brute force answering of existential first-order logic queries is exponential in the number of existential variables. Recent work of query embeddings provides fast querying, but most approaches model set logic with closed regions, so lack negation. Query embeddings that do support negation use densities that suffer drawbacks: 1) only improvise logic, 2) use expensive distributions, and 3) poorly model answer uncertainty. In this paper, we propose Logic Embeddings, a new approach to embedding complex queries that uses Skolemisation to eliminate existential variables for efficient querying. It supports negation, but improves on density approaches: 1) integrates well-studied t-norm logic and directly evaluates satisfiability, 2) simplifies modeling with truth values, and 3) models uncertainty with truth bounds. Logic Embeddings are competitively fast and accurate in query answering over large, incomplete knowledge graphs, outperform on negation queries, and in particular, provide improved modeling of answer uncertainty as evidenced by a superior correlation between answer set size and embedding entropy.

研究动机与目标

• 解决在缺少事实导致不确定性的不完整知识库上回答复杂、存在量词的一阶逻辑查询的挑战。
• 克服现有查询嵌入方法的局限，如否定支持能力差、依赖昂贵的概率密度函数、不确定性建模能力弱。
• 通过将多跳查询转化为潜在真值边界上的组合逻辑运算，实现高效、可扩展的推理。
• 通过将真值边界宽度与答案集大小和熵相关联，改进不确定性建模，提升预测准确性。
• 相比基于密度的嵌入方法（如Beta嵌入），实现更快的训练速度和更稳定的收敛性。

提出的方法

• 使用斯科伦化消除存在量词变量，将一阶逻辑查询转换为适合在真值边界潜在空间中嵌入的形式。
• 实体子集以真值边界数组 [l, u] 表示，其中 0 ≤ l ≤ u ≤ 1，编码其成员资格的不确定性。
• 通过t-范数、t-余范数和边界反转在真值上实现集合运算——交集（合取）、并集（析取）和补集（否定）。
• 通过距离得分 q(T) = 1 − D(T, A) 直接评估逻辑可满足性，其中 D 衡量查询嵌入与候选答案之间的相似度。
• 通过真值边界的宽度建模不确定性，同时对每个边界计算熵，以与答案集大小相关联。
• 采用向量化、可微分的运算实现高效计算，避免积分或闭式分布的使用。

实验结果

研究问题

• RQ1 我们能否以支持完整否定的方式嵌入复杂的一阶逻辑查询，同时保持计算效率？
• RQ2 真值边界如何比概率密度更有效地建模答案集的不确定性？
• RQ3 在真值边界上直接进行逻辑推理，是否相比基于密度的嵌入方法能提升答案准确率和基数预测能力？
• RQ4 斯科伦化是否能实现无需实例化或暴力搜索的高效、可扩展查询问答？
• RQ5 在训练速度和收敛性方面，真值边界上的t-范数与基于密度的不相似度度量相比有何优势？

主要发现

• 由于采用简单、闭式表达的熵和不相似度计算，逻辑嵌入的训练速度比Beta嵌入快2–3倍，且训练曲线更平滑、更稳定。
• 与Beta嵌入相比，答案集大小预测的平均绝对误差降低了83%，表明不确定性建模更具信息量。
• 在否定查询上，逻辑嵌入优于现有方法，显示出对复杂逻辑运算更强的处理能力。
• 答案集大小与嵌入熵强相关，验证了真值边界宽度能有效建模不确定性。
• 在真值边界上使用t-范数可实现无需依赖几何形状或神经网络近似的直接、可微分的逻辑推理。
• 逻辑嵌入在查询问答中表现出具有竞争力的准确率，同时相比基于密度的方法显著降低了计算成本。