[论文解读] Combining Embeddings and Rules for Fact Prediction (Invited Paper)

Ding, Boyang, Wang, Quan+2 more|arXiv (Cornell University)|May 7, 2018

Advanced Graph Neural Networks参考文献 43被引用 30

一句话总结

本文提出 ComplEx-NNE+AER，一种知识图谱嵌入方法，通过在实体表示上应用非负性约束，在关系表示上应用近似蕴含约束，从而提升模型性能与可解释性。这些简单且可扩展的约束在不增加计算成本的前提下，显著提升了 WordNet、Freebase 和 DBpedia 上的链接预测准确率，显著优于强基线模型，同时生成更结构化、更可解释的嵌入表示。

ABSTRACT

Embedding knowledge graphs (KGs) into continuous vector spaces is a focus of current research. Early works performed this task via simple models developed over KG triples. Recent attempts focused on either designing more complicated triple scoring models, or incorporating extra information beyond triples. This paper, by contrast, investigates the potential of using very simple constraints to improve KG embedding. We examine non-negativity constraints on entity representations and approximate entailment constraints on relation representations. The former help to learn compact and interpretable representations for entities. The latter further encode regularities of logical entailment between relations into their distributed representations. These constraints impose prior beliefs upon the structure of the embedding space, without negative impacts on efficiency or scalability. Evaluation on WordNet, Freebase, and DBpedia shows that our approach is simple yet surprisingly effective, significantly and consistently outperforming competitive baselines. The constraints imposed indeed improve model interpretability, leading to a substantially increased structuring of the embedding space. Code and data are available at https://github.com/iieir-km/ComplEx-NNE_AER.

研究动机与目标

• 通过引入简单且可解释的约束，在不增加计算成本的前提下提升知识图谱嵌入性能。
• 通过非负性约束学习更紧凑且语义明确的实体表示。
• 通过近似蕴含约束，将关系蕴含的逻辑规律编码到分布式表示中。
• 提升模型的可解释性与嵌入空间的结构组织性。
• 在多样化的基准知识图谱上实现一致的性能提升。

提出的方法

• 对实体嵌入应用非负性约束，以促进稀疏性和可解释性。
• 从关系的统计特性中学习近似蕴含约束，避免手动规则构建。
• 将约束整合到 ComplEx 模型框架中，保持其高效性与可扩展性。
• 利用复值嵌入的实部与虚部表示实体与关系。
• 通过带约束的优化端到端训练模型，保持较低的时间与空间复杂度。
• 通过启发式方法自动识别等价关系与逆关系。

实验结果

研究问题

• RQ1 简单且自动推导的约束能否提升知识图谱嵌入性能？
• RQ2 非负性约束如何影响实体表示的稀疏性与可解释性？
• RQ3 近似蕴含约束能否有效编码关系之间的逻辑规律？
• RQ4 此类约束的整合是否能在不牺牲效率的前提下提升链接预测准确率？
• RQ5 这些约束在多大程度上增强了嵌入空间的结构组织性？

主要发现

• 所提出的 ComplEx-NNE+AER 方法在 WordNet、Freebase 和 DBpedia 的链接预测任务中，相对于强基线模型实现了显著且一致的性能提升。
• 非负性约束使实体表示更紧凑且更具可解释性，每个实体仅在少数维度上被激活。
• 在激活维度上，实体类型分布的平均熵显著降低，表明学习到的表示具有更高的语义纯净度。
• 近似蕴含约束成功编码了逻辑规律：等价关系具有相似的表示，而逆关系具有共轭表示。
• 嵌入空间显著更具结构性，同一类型的实体在共享的激活维度上聚类。
• 该方法保持了高效率与可扩展性，对训练与推理时间无负面影响。