[论文解读] Knowledge graph completion via complex tensor factorization

Théo Trouillon, Christopher R. Dance+4 more|arXiv (Cornell University)|Jan 1, 2017

Advanced Graph Neural Networks参考文献 45被引用 207

一句话总结

本文提出了一种简单但表达能力强的知识图谱补全方法，采用复数嵌入和赫米特点积，在链接预测基准测试中取得了最先进性能，同时保持线性时间与空间复杂度。该方法在理论上证明了所有实平方矩阵都是某个酉对角化矩阵的实部，从而拓展了矩阵分解技术的应用范围。

ABSTRACT

In statistical relational learning, knowledge graph completion deals with automatically understanding the structure of large knowledge graphs--labeled directed graphs-- and predicting missing relationships--labeled edges. State-of-the-art embedding models propose different trade-offs between modeling expressiveness, and time and space complexity. We reconcile both expressiveness and complexity through the use of complex-valued embeddings and explore the link between such complex-valued embeddings and unitary diagonalization. We corroborate our approach theoretically and show that all real square matrices--thus all possible relation/adjacency matrices--are the real part of some unitarily diagonalizable matrix. This results opens the door to a lot of other applications of square matrices factorization. Our approach based on complex embeddings is arguably simple, as it only involves a Hermitian dot product, the complex counterpart of the standard dot product between real vectors, whereas other methods resort to more and more complicated composition functions to increase their expressiveness. The proposed complex embeddings are scalable to large data sets as it remains linear in both space and time, while consistently outperforming alternative approaches on standard link prediction benchmarks.

研究动机与目标

• 解决知识图谱补全中建模表达能力与计算复杂度之间的权衡问题。
• 探索复数嵌入在表示关系结构方面的理论与实际优势。
• 证明复数嵌入可在计算开销最小化的情况下实现高性能。
• 建立复数嵌入与实矩阵酉对角化之间理论联系的坚实基础。
• 为现有嵌入模型中日益复杂的组合函数提供一种可扩展的替代方案。

提出的方法

• 该方法采用复数实体和关系嵌入，通过赫米特点积建模关系。
• 利用数学性质：每个实平方矩阵均可表示为某个酉对角化矩阵的实部。
• 模型基于实体与关系嵌入之间赫米特点积的实部设计打分函数。
• 该方法确保线性时间与空间复杂度，可高效扩展至大规模知识图谱。
• 通过依赖复数嵌入的内在表达能力，避免使用复杂的组合函数。
• 理论分析表明，该模型可通过酉对角化表示所有可能的邻接矩阵。

实验结果

研究问题

• RQ1 复数嵌入是否能在不增加计算复杂度的前提下实现高表达能力？
• RQ2 复数嵌入与实矩阵酉对角化之间是否存在理论联系？
• RQ3 基于赫米特点积的简单模型是否能超越更复杂的组合函数在知识图谱补全中的表现？
• RQ4 所提出方法是否在提升链接预测性能的同时保持可扩展性？
• RQ5 所有实平方矩阵是否均可表示为某个酉对角化矩阵的实部？

主要发现

• 所有实平方矩阵都是某个酉对角化矩阵的实部，为该方法建立了坚实的理论基础。
• 所提模型在标准链接预测基准测试中达到最先进性能。
• 该方法保持线性时间与空间复杂度，可高效扩展至大规模知识图谱。
• 使用复数嵌入与赫米特点积提供了足够的表达能力，无需依赖复杂的组合函数。
• 该方法在性能上持续优于依赖日益复杂交互机制的现有模型。
• 该理论结果为将矩阵分解技术应用于各类平方矩阵问题开辟了新途径。