[论文解读] From Knowledge Graph Embedding to Ontology Embedding? An Analysis of the Compatibility between Vector Space Representations and Rules

Víctor Gutiérrez-Basulto, Steven Schockaert|arXiv (Cornell University)|May 26, 2018

Advanced Graph Neural Networks被引用 8

一句话总结

本文提出了一种知识图谱嵌入的几何框架，将关系建模为向量空间中的凸区域，从而能够忠实表示本体规则——特别是准链式存在规则。研究表明，标准模型如TransE和DistMult无法捕捉此类规则，而凸区域嵌入则能确保与输入本体的逻辑一致性和演绎封闭性。

ABSTRACT

Recent years have witnessed the successful application of low-dimensional vector space representations of knowledge graphs to predict missing facts or find erroneous ones. However, it is not yet well-understood to what extent ontological knowledge, e.g. given as a set of (existential) rules, can be embedded in a principled way. To address this shortcoming, in this paper we introduce a general framework based on a view of relations as regions, which allows us to study the compatibility between ontological knowledge and different types of vector space embeddings. Our technical contribution is two-fold. First, we show that some of the most popular existing embedding methods are not capable of modelling even very simple types of rules, which in particular also means that they are not able to learn the type of dependencies captured by such rules. Second, we study a model in which relations are modelled as convex regions. We show particular that ontologies which are expressed using so-called quasi-chained existential rules can be exactly represented using convex regions, such that any set of facts which is induced using that vector space embedding is logically consistent and deductively closed with respect to the input ontology.

研究动机与目标

• 研究向量空间嵌入与形式化本体规则之间的兼容性。
• 识别现有知识图谱嵌入模型在表示逻辑依赖关系方面的根本局限性。
• 开发一种几何嵌入框架，以忠实表示诸如准链式存在规则等表达性强的本体规则类别。
• 确保从嵌入中推导出的事实与给定本体在逻辑上一致且具有演绎封闭性。
• 为神经网络驱动的归纳与符号演绎在知识表示中的更紧密集成奠定基础。

提出的方法

• 将关系建模为连接实体嵌入向量空间中的凸区域。
• 将关系R表示为区域η(R) ⊆ R^{2n}，其中(s,f) ∈ η(R) 当且仅当 s_R(e,f) ≤ λ_R。
• 采用基于区域的视角，形式化嵌入如何将逻辑规则编码为空间约束（例如，η(R) ⊆ η(S) 表示 R(X,Y) → S(X,Y)）。
• 提出一种新型嵌入框架，将关系建模为任意凸区域，以支持表达性强的规则表示。
• 证明凸几何模型可精确表示准链式存在规则，同时保持逻辑一致性和封闭性。
• 提出正则化策略以平衡表达能力与泛化能力，其中TransE和DistMult等标准模型作为特例。

实验结果

研究问题

• RQ1 标准的知识图谱嵌入模型如TransE和DistMult能否表示常见的本体规则类型，例如存在规则或从属规则？
• RQ2 向量空间嵌入的何种几何特性是忠实表示本体中逻辑依赖关系的必要且充分条件？
• RQ3 现有嵌入方法在多大程度上无法建模通过规则表达的知识库的逻辑结构？
• RQ4 基于凸区域的嵌入能否确保推导出的事实集合与给定本体在逻辑上一致且具有演绎封闭性？
• RQ5 哪些规则类别可以使用凸几何模型精确表示，以及此类模型如何被实际学习？

主要发现

• 标准的知识图谱嵌入模型如TransE和DistMult由于其几何约束，甚至无法表示基本的从属规则，例如 R(X,Y) → S(X,Y)。
• DistMult模型仅能表示非常受限的从属层次结构类别，限制了其编码本体知识的能力。
• 基于凸区域的嵌入可精确表示准链式存在规则类别，确保所有推导出的事实在逻辑上一致且具有演绎封闭性。
• 所提出的框架可推广现有模型：当坐标非负时，TransE和DistMult是凸区域嵌入的特例。
• 理论分析表明，凸几何模型为符号推理与神经嵌入的集成提供了坚实基础。
• 该框架使本体可作为归纳偏差应用于嵌入学习，从而提升泛化能力和一致性。