[论文解读] Faithful Embeddings for Knowledge Base Queries

Haitian Sun, Andrew O. Arnold+3 more|arXiv (Cornell University)|Apr 7, 2020

Topic Modeling参考文献 31被引用 21

一句话总结

本文提出 EmQL，一种忠实的查询嵌入方法，通过结合神经检索与计数-最小堆（count-min sketches）来确保在逻辑蕴含答案上的正确性，从而提升不完整知识库中的逻辑推理能力。该方法在忠实性方面优于先前的 Query2Box 等方法，并显著提升了神经问答系统的表现，在 MetaQA 和 WebQuestionsSP 基准测试中达到最先进水平。

ABSTRACT

The deductive closure of an ideal knowledge base (KB) contains exactly the logical queries that the KB can answer. However, in practice KBs are both incomplete and over-specified, failing to answer some queries that have real-world answers. \emph{Query embedding} (QE) techniques have been recently proposed where KB entities and KB queries are represented jointly in an embedding space, supporting relaxation and generalization in KB inference. However, experiments in this paper show that QE systems may disagree with deductive reasoning on answers that do not require generalization or relaxation. We address this problem with a novel QE method that is more faithful to deductive reasoning, and show that this leads to better performance on complex queries to incomplete KBs. Finally we show that inserting this new QE module into a neural question-answering system leads to substantial improvements over the state-of-the-art.

研究动机与目标

• 为解决现有查询嵌入（QE）系统缺乏逻辑忠实性的问题，这些系统常无法检索出由知识库（KB）逻辑蕴含的答案。
• 开发一种在前提明确存在时能保持演绎推理能力的 QE 方法，确保对逻辑蕴含查询的正确性。
• 将忠实的 QE 模块集成到神经问答系统（KBQA）中，以提升下游性能。
• 证明 QE 中的忠实性可带来真实世界 KBQA 基准测试中的可测量性能提升。

提出的方法

• EmQL 采用混合方法：在嵌入空间中应用几何运算以实现泛化，同时对嵌入的知识库三元组进行神经检索以实现逻辑推理。
• 采用计数-最小堆数据结构，以高概率传播逻辑蕴含答案的得分，确保忠实性。
• 该方法支持集合运算，包括交集、并集和关系过滤，采用质心-草图表示法表示实体集合。
• 提出一种可微分、紧凑且可扩展的架构，可在保持推理忠实性的同时选择性地移除草图以实现泛化。
• 系统设计为模块化，可无缝集成到端到端 KBQA 流水线中，无需完整微调。
• 使用微调后的 KB 嵌入模型以支持推理，避免依赖稀疏矩阵运算。

实验结果

研究问题

• RQ1 能否使查询嵌入系统具备逻辑忠实性，正确检索出由知识库逻辑蕴含的答案？
• RQ2 将神经检索与基于草图的得分传播相结合，是否相比纯几何 QE 方法能显著提升忠实性？
• RQ3 一个忠实的 QE 模块能否显著提升神经 KB 问答系统中的性能？
• RQ4 QE 中的忠实性如何影响在不完整知识库中复杂复合查询的下游性能？

主要发现

• EmQL 在逻辑蕴含答案上的表现显著优于 Query2Box，展现出更优的推理忠实性。
• 在 MetaQA 和 WebQuestionsSP 基准测试中，将 EmQL 集成到 KBQA 系统后，Hits@1 指标实现双位数提升，达到新的最先进水平。
• 该方法在需要泛化的复杂查询上保持了高性能，表明其在保留先前 QE 方法优势的同时，成功引入了忠实性。
• 计数-最小堆的使用可高概率地忠实传播蕴含答案的得分，为逻辑一致性提供了实用机制。
• 通过战略性地移除草图组件，EmQL 能够有效实现泛化，实现了忠实性与泛化能力之间的平衡。
• 本工作首次成功将 QE 系统作为神经模块集成到 KBQA 流水线中，展示了其在真实世界应用中的实际效用。