[论文解读] KBLRN : End-to-End Learning of Knowledge Base Representations with Latent, Relational, and Numerical Features

Alberto García-Durán, Mathias Niepert|arXiv (Cornell University)|Sep 14, 2017

Topic Modeling参考文献 34被引用 49

一句话总结

KBlrn 是一种新颖的端到端框架，通过深度学习与概率专家产品模型，整合潜在特征、关系特征和数值特征以完成知识库补全。在 FB15k-237 和 WN18-rules 上，其性能优于当前最先进方法，其中数值特征显著提升了性能，尤其在具有多个有效补全结果的复杂查询中表现突出。

ABSTRACT

We present KBLRN, a framework for end-to-end learning of knowledge base representations from latent, relational, and numerical features. KBLRN integrates feature types with a novel combination of neural representation learning and probabilistic product of experts models. To the best of our knowledge, KBLRN is the first approach that learns representations of knowledge bases by integrating latent, relational, and numerical features. We show that instances of KBLRN outperform existing methods on a range of knowledge base completion tasks. We contribute a novel data sets enriching commonly used knowledge base completion benchmarks with numerical features. The data sets are available under a permissive BSD-3 license. We also investigate the impact numerical features have on the KB completion performance of KBLRN.

研究动机与目标

• 解决纯逻辑知识库的局限性，因其依赖手工规则且推理复杂度呈指数级增长，导致效率低下且脆弱。
• 通过结合概率推理与神经表征学习，克服传统统计关系学习的低效与脆弱性。
• 开发一种统一的、端到端可微分框架，联合学习来自多种特征类型（关系、潜在、数值）的表征，无需分阶段单独训练。
• 证明数值特征（如实值属性）可显著提升知识库补全性能，尤其在高基数查询中表现更优。
• 贡献一个包含数值特征的新基准数据集，以支持未来在该新兴方向上的公平评估。

提出的方法

• 使用径向基函数（RBFs）将连续数值特征嵌入可微的潜在空间，支持端到端训练。
• 将关系特征建模为通过 Amie+ 挖掘出的逻辑公式（例如长度为一和二的路径），并以每对实体的二值指示符表示。
• 使用标准知识图嵌入目标（如 TransE 风格的打分函数）学习实体与关系的嵌入，作为潜在特征。
• 通过概率专家产品（PoE）模型组合三种特征类型，其中各专家（关系、潜在、数值）的打分相加后经 Softmax 归一化。
• 使用负采样近似不可计算的 PoE 归一化常数，实现所有组件的高效且可微分的联合训练。
• 在链接预测任务上使用分类交叉熵损失端到端训练完整模型，所有组件联合更新。

实验结果

研究问题

• RQ1 当与关系特征和潜在特征结合时，数值特征在多大程度上提升了知识库补全性能？
• RQ2 统一的、端到端可微分框架能否有效整合潜在特征、关系特征与连续数值特征以实现 KB 补全？
• RQ3 KBlrn 在不同类型查询上的性能表现如何，特别是在仅有一个正确补全与存在多个正确补全的查询之间？
• RQ4 数值特征的整合是否在多样化的知识库基准上均带来一致的性能提升，包括训练数据不完整或稀疏的情况？
• RQ5 在标准 KB 补全基准上，关系特征、潜在特征与数值特征在预测性能方面的相对贡献如何比较？

主要发现

• 在 FB15k-237-num 数据集上，KBlrn 显著优于 TransE 与 DistMult，MRR 达 70.8，MR 为 43，而 TransE 的 MRR 为 26.5，MR 为 231。
• 在 FB15k-237-num 数据集上，KBlrn 的 PR-AUC 达 0.958，显著优于 TransE（0.837）与 KBlr（0.913），表明其在精确率与召回率方面均更优。
• 对于具有多个有效补全结果的查询（如“USA, /location/contains, ?”），KBlrn 在引入数值特征后，MRR 从 21.0 提升至 22.8，MR 从 201 降至 135，表明在复杂查询中性能提升显著。
• 引入数值特征使 FB15k-237 上的 MRR 相对提升 15.8%，证明其在提升泛化能力与鲁棒性方面具有关键作用。
• 在 WN18-rules 上，KBlrn 表现与 ComplEx 竞争（MRR 74.2 vs. 74.9），且在结合关系与潜在特征后性能进一步提升，而 ASR-ComplEx 则未能超越 ComplEx。
• 模型在标记为“Many”（高基数）的查询中表现出一致的性能增益，其中数值特征能更有效地帮助区分正确与错误候选结果，相较于“One”类查询效果更明显。