[论文解读] BoxE: A Box Embedding Model for Knowledge Base Completion

Ralph Abboud, İsmail İlkan Ceylan+2 more|arXiv (Cornell University)|Jul 13, 2020

Topic Modeling参考文献 45被引用 27

一句话总结

BoxE 是一种新颖的框嵌入模型，将实体表示为潜在空间中的点，关系表示为超矩形（框），从而实现完全的表达能力，支持逻辑规则，并可处理高阶关系。该模型在知识库补全基准测试中达到最先进性能，规则注入带来显著提升，并通过实体类别和关系类型的几何编码实现强大可解释性。

ABSTRACT

Knowledge base completion (KBC) aims to automatically infer missing facts by exploiting information already present in a knowledge base (KB). A promising approach for KBC is to embed knowledge into latent spaces and make predictions from learned embeddings. However, existing embedding models are subject to at least one of the following limitations: (1) theoretical inexpressivity, (2) lack of support for prominent inference patterns (e.g., hierarchies), (3) lack of support for KBC over higher-arity relations, and (4) lack of support for incorporating logical rules. Here, we propose a spatio-translational embedding model, called BoxE, that simultaneously addresses all these limitations. BoxE embeds entities as points, and relations as a set of hyper-rectangles (or boxes), which spatially characterize basic logical properties. This seemingly simple abstraction yields a fully expressive model offering a natural encoding for many desired logical properties. BoxE can both capture and inject rules from rich classes of rule languages, going well beyond individual inference patterns. By design, BoxE naturally applies to higher-arity KBs. We conduct a detailed experimental analysis, and show that BoxE achieves state-of-the-art performance, both on benchmark knowledge graphs and on more general KBs, and we empirically show the power of integrating logical rules.

研究动机与目标

• 为解决现有知识库补全（KBC）模型中的关键局限，包括理论上的表达无能、缺乏对逻辑规则的支持，以及对高阶关系处理不佳的问题。
• 开发一种模型，同时支持完全表达能力、规则注入，以及对高阶知识库的泛化能力。
• 通过几何框表示，自然地编码逻辑推理模式，如层次结构、互斥性与对称性。
• 通过实证验证，利用框嵌入集成逻辑规则可提升KBC性能与训练收敛性。

提出的方法

• 实体被嵌入为d维点，而关系则表示为d维超矩形（框），以空间方式编码逻辑属性。
• 事实 r(e1,…,en) 的得分基于实体点嵌入与对应关系框之间的几何关系，采用包含关系与距离标准。
• 该模型使用可微分损失函数，促使正确事实位于关系框内部，而错误事实位于外部，从而支持端到端训练。
• 通过约束框参数以满足逻辑蕴含关系（如包含关系 A ⊆ B 或互斥关系 A ∩ B = ∅），实现逻辑规则的注入。
• 通过将框表示推广至n元关系，支持高阶关系，每个参数位置均定义头框与尾框。
• 通过双曲正切函数进行归一化，将嵌入映射至 [−1, 1]^d，确保框体积有界，提升可解释性与稳定性。

实验结果

研究问题

• RQ1 基于框的嵌入模型能否在知识库补全中实现完全表达能力，克服传统平移模型的理论表达无能？
• RQ2 BoxE 在多大程度上能自然地编码并注入复杂逻辑规则，例如丰富规则语言中的规则？
• RQ3 BoxE 在高阶知识库上的泛化能力如何？是否保持了对实体类别与关系类型的可解释性？
• RQ4 通过BoxE实现的规则注入是否能带来可测量的KBC性能提升与训练收敛性改善？

主要发现

• BoxE 在多个基准知识图谱与通用知识库上均达到最先进性能，在链接预测与规则注入任务中均优于现有模型。
• 该模型具备完全表达能力，是首个在基于平移模型中实现此目标的模型，可证明地拟合任意知识库，包括具有复杂逻辑结构的知识库。
• BoxE 成功捕捉并强制执行逻辑推理模式：如 isMarriedTo 等对称关系被表示为头尾框尺寸近乎相同，证实了对称性建模的有效性。
• 嵌入空间中更大的框体积与更流行的关系及更多样化的实体类型相关，表明对实体类别与语义多样性的有效建模。
• 规则注入变体 BoxE+RI 的收敛速度更快，性能显著优于标准 BoxE，在 500 个 epoch 内即达到峰值 MRR。
• 该模型的几何解释允许准确推断关系类型：较大的尾框表示一对多关系，较大的头框表示多对一关系，而尺寸均衡则暗示多对多或一对一关系。