[论文解读] Knowledge Graph Embedding with Iterative Guidance from Soft Rules

Shu Guo, Quan Wang+3 more|arXiv (Cornell University)|Nov 30, 2017

Advanced Graph Neural Networks参考文献 39被引用 23

一句话总结

本文提出 RUGE，一种知识图谱嵌入框架，通过联合学习观测三元组、未标注三元组的预测标签以及具有不同置信度的自动提取的软规则，迭代地优化实体和关系表示。该方法通过嵌入学习与规则引导推理之间的迭代反馈，在 Freebase 和 YAGO 上实现了链接预测的最先进性能。

ABSTRACT

Embedding knowledge graphs (KGs) into continuous vector spaces is a focus of current research. Combining such an embedding model with logic rules has recently attracted increasing attention. Most previous attempts made a one-time injection of logic rules, ignoring the interactive nature between embedding learning and logical inference. And they focused only on hard rules, which always hold with no exception and usually require extensive manual effort to create or validate. In this paper, we propose Rule-Guided Embedding (RUGE), a novel paradigm of KG embedding with iterative guidance from soft rules. RUGE enables an embedding model to learn simultaneously from 1) labeled triples that have been directly observed in a given KG, 2) unlabeled triples whose labels are going to be predicted iteratively, and 3) soft rules with various confidence levels extracted automatically from the KG. In the learning process, RUGE iteratively queries rules to obtain soft labels for unlabeled triples, and integrates such newly labeled triples to update the embedding model. Through this iterative procedure, knowledge embodied in logic rules may be better transferred into the learned embeddings. We evaluate RUGE in link prediction on Freebase and YAGO. Experimental results show that: 1) with rule knowledge injected iteratively, RUGE achieves significant and consistent improvements over state-of-the-art baselines; and 2) despite their uncertainties, automatically extracted soft rules are highly beneficial to KG embedding, even those with moderate confidence levels. The code and data used for this paper can be obtained from https://github.com/iieir-km/RUGE.

研究动机与目标

• 为解决一次性规则注入在知识图谱嵌入中的局限性，该方法无法充分利用嵌入模型与逻辑规则之间的交互反馈。
• 探索软规则（带有不确定性或置信度的规则）的实用性，而非仅依赖需要大量人工维护的硬规则。
• 设计一种联合学习框架，交替进行未标注三元组的软标签预测和基于标注三元组与规则引导预测的联合嵌入更新。
• 通过实证验证，即使置信度适中的软规则，若以迭代方式使用，也能显著提升嵌入质量。
• 证明迭代整合规则知识可使链接预测任务在性能上持续且显著优于当前最先进基线模型。

提出的方法

• RUGE 每轮迭代交替进行两个阶段：(1) 利用当前嵌入和提取的软规则进行软标签预测；(2) 通过联合优化标注三元组和规则预测的未标注三元组来修正嵌入。
• 软规则通过规则挖掘技术从知识图谱中自动提取，并赋予反映其可靠性的置信度分数。
• 通过将软标签视为概率监督信号，将软标签整合到训练目标中，从而在优化过程中保留基于规则预测的不确定性。
• 嵌入学习通过可微损失函数实现，该函数结合了观测三元组和规则推断标签的监督信号，支持使用梯度下降进行端到端训练。
• 该框架与现有知识图谱嵌入模型（如 ComplEx、PTransE 和 KALE）兼容，可无缝集成到多种架构中。
• 通过调优规则置信度阈值以平衡信息丰富但不确定的规则与噪声规则的引入，FB15K 上最优性能出现在 0.8 的阈值处。

实验结果

研究问题

• RQ1 与一次性规则注入相比，软规则的迭代整合是否能进一步提升知识图谱嵌入性能？
• RQ2 自动提取的软规则（尤其是中等置信度的规则）在提升嵌入质量方面，与硬规则相比效果如何？
• RQ3 嵌入预测与基于规则的标签优化之间的反馈回路是否能在不同知识图谱上带来一致的性能提升？
• RQ4 规则置信度阈值对最终嵌入质量和模型鲁棒性有何影响？
• RQ5 RUGE 的计算成本与现有规则注入模型及基线嵌入模型相比如何？

主要发现

• 与最佳基线模型 ComplEx 相比，RUGE 在 FB15K 上实现了 MRR 的 11% 相对提升，以及 HITS@1 的 18% 提升。
• 在 YAGO37 上，RUGE 相较 ComplEx 将 MRR 提升 3%，HITS@1 提升 6%，表明在不同数据集上均具有一致的性能增益。
• 即使置信度低至 0.35 的软规则仍能带来显著的性能提升，表明规则中的不确定性并不妨碍其有效性。
• 在 FB15K 上，最优规则置信度阈值为 0.8，此时性能达到峰值；置信度更低则引入噪声，更高则减少规则覆盖范围。
• 尽管集成了基于规则的监督，RUGE 每轮训练时间仅适度增加——FB15K 上从 11.4 秒增至 14.1 秒，YAGO37 上从 49.5 秒增至 55.2 秒。
• 预处理步骤（规则/路径提取与命题化）效率较高，显著快于 PTransE 的方法，尤其在 YAGO37 上表现更优。