[论文解读] Complex and Holographic Embeddings of Knowledge Graphs: A Comparison

Théo Trouillon, Maximilian Nickel|arXiv (Cornell University)|Jul 5, 2017

Advanced Graph Neural Networks参考文献 11被引用 22

一句话总结

本文比较了ComplEx和HolE这两种最先进的知识图谱嵌入模型，通过傅里叶变换的性质证明了它们的打分函数在数学上是等价的。尽管理论上性能完全相同，但实际差异源于不同的损失函数，ComplEx由于其复值表示，在处理对称/反对称关系时具有计算优势。

ABSTRACT

Embeddings of knowledge graphs have received significant attention due to their excellent performance for tasks like link prediction and entity resolution. In this short paper, we are providing a comparison of two state-of-the-art knowledge graph embeddings for which their equivalence has recently been established, i.e., ComplEx and HolE [Nickel, Rosasco, and Poggio, 2016; Trouillon et al., 2016; Hayashi and Shimbo, 2017]. First, we briefly review both models and discuss how their scoring functions are equivalent. We then analyze the discrepancy of results reported in the original articles, and show experimentally that they are likely due to the use of different loss functions. In further experiments, we evaluate the ability of both models to embed symmetric and antisymmetric patterns. Finally, we discuss advantages and disadvantages of both models and under which conditions one would be preferable to the other.

研究动机与目标

• 比较ComplEx和HolE这两种领先的知识图谱嵌入模型，尽管它们的打分函数已被证明是等价的。
• 研究为何原始研究中报告了相互矛盾的实证结果，追溯差异根源至不同的损失函数。
• 评估两种模型在知识图谱中表示对称与反对称关系模式的能力。
• 分析ComplEx与HolE在优化、内存使用和表达能力方面的实际权衡。

提出的方法

• 本文利用Parseval定理和离散傅里叶变换（DFT）推导出ComplEx与HolE的数学等价性，证明其打分函数在常数因子范围内完全一致。
• 通过逆DFT和复共轭运算，重新表述HolE的循环相关操作，使其与ComplEx的复嵌入三线性积形式对齐。
• 分析表明，实值HolE嵌入通过DFT映射为复向量，其结构在对称性约束下与ComplEx嵌入完全匹配。
• 作者证明，等价的复嵌入大小仅为等效实嵌入的一半，但每维需双倍内存（因复数运算），因此总体内存复杂度保持不变。
• 实验在受控环境下比较模型在对称与反对称关系上的性能，以隔离损失函数的影响。
• 研究采用负采样，并通过链接预测性能评估在相同训练协议下的实际差异。

实验结果

研究问题

• RQ1 ComplEx与HolE的打分函数是否真正等价？若等价，其数学条件是什么？
• RQ2 为何原始研究在理论等价的前提下报告了不同的实证结果？
• RQ3 ComplEx与HolE在知识图谱的对称与反对称关系模式上表现如何？
• RQ4 在知识图谱表示中，使用复数嵌入与实数嵌入的实际优缺点是什么？

主要发现

• 通过Parseval定理和DFT性质的证明，ComplEx与HolE的打分函数在数学上等价，仅相差一个常数因子。
• 报告结果的差异主要源于使用了不同的损失函数，而非模型容量或架构的差异。
• ComplEx在建模反对称关系方面表现出更强的表达能力，因其复共轭结构能自然捕捉方向性模式。
• 两种模型具有相同的内存复杂度：复嵌入大小为等效实嵌入的一半，但每维需双倍内存，整体复杂度不变。
• 该等价性仅在DFT域中保持对称性约束时成立，而ComplEx通过复共轭运算隐式实现了这一点。
• 实证评估证实，当使用相同损失函数训练时，两种模型在链接预测任务上表现相当。