[论文解读] A Birds Eye View on Knowledge Graph Embeddings, Software Libraries, Applications and Challenges

Satvik Garg, Dwaipayan Roy|arXiv (Cornell University)|May 18, 2022

Advanced Graph Neural Networks被引用 4

一句话总结

本文全面综述了知识图嵌入（KGE）与知识图补全（KGC）技术，涵盖静态、时间动态、不确定性和多模态知识图谱的最先进方法。文章评估了基于翻译、矩阵分解和深度评分函数的KGE技术，以及基于强化学习的方法（如DeepPath和Minerva），并对比了主流软件库，识别出未来KGC研究的开放性挑战。

ABSTRACT

In recent years, Knowledge Graph (KG) development has attracted significant researches considering the applications in web search, relation prediction, natural language processing, information retrieval, question answering to name a few. However, often KGs are incomplete due to which Knowledge Graph Completion (KGC) has emerged as a sub-domain of research to automatically track down the missing connections in a KG. Numerous strategies have been suggested to work out the KGC dependent on different representation procedures intended to embed triples into a low-dimensional vector space. Given the difficulties related to KGC, researchers around the world are attempting to comprehend the attributes of the problem statement. This study intends to provide an overview of knowledge bases combined with different challenges and their impacts. We discuss existing KGC approaches, including the state-of-the-art Knowledge Graph Embeddings (KGE), not only on static graphs but also for the latest trends such as multimodal, temporal, and uncertain knowledge graphs. In addition, reinforcement learning techniques are reviewed to model complex queries as a link prediction problem. Subsequently, we explored popular software packages for model training and examine open research challenges that can guide future research.

研究动机与目标

• 提供知识图补全（KGC）技术的系统性综述，包括表示学习与链接预测方法。
• 分析主要KGE家族（基于翻译、基于矩阵分解和基于深度学习的模型）的优势与局限性。
• 综述复杂知识图谱（包括时间动态、不确定性和多模态KG）中KGC的最新进展。
• 评估并对比用于训练KGE模型的主流软件库，支持可复现研究。
• 识别KGC中的开放性挑战与未来研究方向，尤其在校准、互惠关系和动态图建模方面。

提出的方法

• 将KGE模型分为三类主要类型：基于翻译的模型（如TransE）、基于矩阵分解的模型（如DistMult）和基于深度学习的模型（如ConvE、RotatE）。
• 综述基于强化学习的KGC方法，如DeepPath、Minerva、M-Walk和DAPath，这些方法将复杂查询建模为序列链接预测任务。
• 分析KGE模型中使用的评分函数，按其归纳偏置分类：翻译、矩阵分解和基于神经网络的函数。
• 基于可扩展性、模块化和支持模型的数量，对比主流开源软件库（如DGL-KE、OpenKE、PyKE和OGB）在KGE训练中的表现。
• 在FB15k、FB15k-237和YAGO3-10等基准数据集上评估KGE模型性能，重点关注MR、MRR和Hits@10等标准指标。
• 识别当前研究中的空白，如置信度分数校准不足、对互惠关系支持有限，以及动态知识图谱训练策略不足。

实验结果

研究问题

• RQ1 在标准KGC基准上，不同KGE架构（基于翻译、基于矩阵分解和基于深度学习）在性能与泛化能力方面如何比较？
• RQ2 基于强化学习的方法在建模知识图谱中复杂多跳查询时，其关键优势与局限性是什么？
• RQ3 近期的KGE模型如何处理非静态知识图谱，包括时间动态、不确定性和多模态KG？
• RQ4 哪些软件库在训练KGE模型方面最为高效且可扩展？它们如何支持可复现性与模型比较？
• RQ5 KGC中仍存在哪些开放性挑战，特别是在模型校准、互惠关系处理以及动态与异构图的训练策略方面？

主要发现

• 基于翻译的模型（如TransE和RotatE）在标准基准上表现优异，其中RotatE因能有效建模旋转关系，在YAGO3-10和FB15k-237上表现更优。
• 基于矩阵分解的模型（如DistMult和ComplEx）具有高效率与可扩展性，尤其适用于对称与反对称关系，但在处理复杂关系模式时表现受限。
• 基于深度学习的模型（如ConvE和SimplE）在复杂关系类型上表现更优，尤其在建模高阶交互时，尽管训练复杂度显著增加。
• 基于强化学习的方法（如DeepPath和Minerva）在多跳推理任务中达到最先进性能，展现出强化学习在复杂查询问答中的潜力。
• 研究发现，当前SOTA性能的感知与实际表现之间存在显著差距，许多研究者因评估协议不一致及置信度分数缺乏校准而高估了当前最先进水平。
• 开源库如DGL-KE和OGB在KGE模型训练与基准测试方面提供了强大支持，但目前仍缺乏针对动态、异构与不确定KG的更好工具支持。