[论文解读] Logical Entity Representation in Knowledge-Graphs for Differentiable Rule Learning

Chi Han, Qizheng He+4 more|arXiv (Cornell University)|May 22, 2023

Data Quality and ManagementDecision Sciences被引用 3

一句话总结

该论文提出了逻辑实体表示（LERP），一种可微分的、可解释的、基于概率逻辑函数的向量表示，用于编码知识图谱中实体周围的上下文子图信息。通过将 LERP 集成到概率逻辑规则学习中，模型能够学习更具表现力的规则，在知识图谱补全基准测试中达到最先进性能，优于基于规则的基线方法和像 TransE 这类黑箱方法，同时通过显式的逻辑规则保持可解释性。

ABSTRACT

Probabilistic logical rule learning has shown great strength in logical rule mining and knowledge graph completion. It learns logical rules to predict missing edges by reasoning on existing edges in the knowledge graph. However, previous efforts have largely been limited to only modeling chain-like Horn clauses such as $R_1(x,z)\land R_2(z,y)\Rightarrow H(x,y)$. This formulation overlooks additional contextual information from neighboring sub-graphs of entity variables $x$, $y$ and $z$. Intuitively, there is a large gap here, as local sub-graphs have been found to provide important information for knowledge graph completion. Inspired by these observations, we propose Logical Entity RePresentation (LERP) to encode contextual information of entities in the knowledge graph. A LERP is designed as a vector of probabilistic logical functions on the entity's neighboring sub-graph. It is an interpretable representation while allowing for differentiable optimization. We can then incorporate LERP into probabilistic logical rule learning to learn more expressive rules. Empirical results demonstrate that with LERP, our model outperforms other rule learning methods in knowledge graph completion and is comparable or even superior to state-of-the-art black-box methods. Moreover, we find that our model can discover a more expressive family of logical rules. LERP can also be further combined with embedding learning methods like TransE to make it more interpretable.

研究动机与目标

• 为解决现有规则学习方法仅建模链式霍恩子句、忽略实体周围上下文子图信息的局限性。
• 开发一种可微分、可解释的表示方法，以捕捉知识图谱中实体局部子图的逻辑模式。
• 通过将上下文关系结构融入概率逻辑规则学习，提升知识图谱补全性能。
• 通过将 LERP 与像 TransE 这类嵌入模型结合，实现混合学习，获得更具可解释性与泛化能力的表示。

提出的方法

• LERP 将每个实体表示为基于其邻近子图的概率逻辑函数向量，例如 ∃z′ is_son_of(y,z′)。
• 该方法使用 LERP 组件构建逻辑规则，支持对规则与表示同时进行可微分优化。
• 采用联合训练框架，通过带正则化的可微分损失函数，端到端优化 LERP 与规则权重。
• 通过混合架构将 LERP 与 TransE 集成：Embed′(e) = Embed(e) + R·L^Θ(e)，其中 R 负责将 LERP 映射到嵌入空间。
• 引入正则化项，包括 ℓ2 范数和规则权重的熵正则化，以促进稀疏性与可解释性。
• 通过矩阵投影（Moore–Penrose 伪逆）将学习到的逻辑函数与实体关系及嵌入向量关联，实现可解释性支持。

Figure 1: Incorporating contextual information of entities can benefit missing link prediction.

实验结果

研究问题

• RQ1 将局部子图上下文信息融入实体表示，能否提升知识图谱中逻辑规则学习的表达能力？
• RQ2 像 LERP 这类可微分、可解释的实体表示，能否在知识图谱补全任务中超越现有规则学习方法与黑箱嵌入模型？
• RQ3 如何有效结合 LERP 与神经嵌入模型（如 TransE），以增强可解释性与泛化能力？
• RQ4 LERP 使模型能够发现何种类型的逻辑规则？这些规则与现实世界的关系模式有何关联？

主要发现

• 采用 LERP 的模型在知识图谱补全基准测试中优于现有规则学习基线方法，AUC 与 MRR 分数更高。
• LERP 使模型能够发现更具表现力的逻辑规则族，包括涉及存在量词的复杂关系模式。
• 混合的 TransE+LERP 模型在小样本数据集（如 Family）上表现出优于原始 TransE 的泛化能力，得益于 LERP 提供的逻辑正则化。
• 在 LERP 中加入熵正则化可进一步提升性能，通过鼓励学习到的逻辑函数更稀疏且明确。
• 通过将学习到的逻辑函数与特定关系（如 niece、daughter）关联，并展示其与语义含义的一致性，验证了模型的可解释性。
• 实证结果表明，LERP 可有效与 TransE 结合，构建出既准确又可解释的模型，性能优于或匹配当前最先进黑箱方法。

Figure 2: Illustration of our construction of logical entity function and representation. (a): Each logical function is defined in a recursive manner with operations defined in Definition 1 (b): we build LERP in a feed-forward style, by constructing intermediate logical functions column by column.