[论文解读] A Review of Relational Machine Learning for Knowledge Graphs From Multi-Relational Link Prediction to Automated Knowledge Graph Construction

Maximilian Nickel, Kevin Murphy+2 more|arXiv (Cornell University)|Mar 2, 2015

Complex Network Analysis Techniques参考文献 113被引用 80

一句话总结

本文综述了用于知识图谱的关系机器学习方法，重点聚焦于可扩展的统计模型——张量分解和模式挖掘——在链接预测和自动化知识图谱构建中的应用。研究表明，将潜在模型与可观测模型相结合可提升性能并降低计算成本，并将这些方法与基于文本的抽取技术整合，用于构建如谷歌知识图谱（Google's Knowledge Vault）等系统。

ABSTRACT

Relational machine learning studies methods for the statistical analysis of relational, or graph-structured, data. In this paper, we provide a review of how such statistical models can be trained on large knowledge graphs, and then used to predict new facts about the world (which is equivalent to predicting new edges in the graph). In particular, we discuss two different kinds of statistical relational models, both of which can scale to massive datasets. The first is based on tensor factorization methods and related latent variable models. The second is based on mining observable patterns in the graph. We also show how to combine these latent and observable models to get improved modeling power at decreased computational cost. Finally, we discuss how such statistical models of graphs can be combined with text-based information extraction methods for automatically constructing knowledge graphs from the Web. In particular, we discuss Google's Knowledge Vault project.

研究动机与目标

• 综述用于从大规模知识图谱中学习的可扩展统计关系模型。
• 解决利用统计方法预测知识图谱中缺失事实（缺失边）的挑战。
• 结合潜在模型（张量分解）与可观测模型（模式挖掘）以提升效率与准确性。
• 将关系模型与基于文本的信息抽取技术整合，以实现知识图谱的自动化构建。
• 展示这些方法在真实世界系统（如谷歌知识图谱）中的应用。

提出的方法

• 利用张量分解将多关系数据建模为三维张量，并将其分解为低秩表示。
• 采用模式挖掘从知识图谱中提取频繁的、可观测的子图模式，用于关系推理。
• 通过模式引导或正则化张量分解过程，结合潜在与可观测模型。
• 将统计关系模型与文本挖掘流程整合，从非结构化网络文本中抽取新事实。
• 以知识图谱仓库（Knowledge Vault）框架为案例研究，展示端到端的知识图谱构建。
• 应用正则化与优化技术，使模型可扩展至大规模数据集，同时保持预测准确性。

实验结果

研究问题

• RQ1 如何使统计关系模型可扩展，以从大规模知识图谱中学习？
• RQ2 潜在模型（张量分解）与可观测模型（模式挖掘）在链接预测中的相对效果与联合效果如何？
• RQ3 结合潜在与可观测模型是否能在不牺牲性能的前提下降低计算成本？
• RQ4 如何将关系模型与基于文本的信息抽取技术整合，以实现知识图谱的自动化构建？
• RQ5 这些方法在真实世界知识图谱项目（如谷歌知识图谱）中的实际影响是什么？

主要发现

• 张量分解方法通过学习实体与关系的低维嵌入，实现了有效的链接预测。
• 模式挖掘提供了可解释的、可观测的关系规则，有助于提升模型泛化能力并减少过拟合。
• 结合潜在与可观测模型可提升预测性能，同时降低计算需求。
• 将统计关系模型与文本挖掘整合，可实现从非结构化网络数据中可扩展、自动化的知识图谱构建。
• 如谷歌知识图谱（Google's Knowledge Vault）等系统证明了这些方法在大规模真实世界知识图谱构建中的可行性。
• 混合方法在准确性、效率与可解释性之间实现了优于单独使用任一方法的平衡。