[论文解读] Analyzing Knowledge Graph Embedding Methods from a Multi-Embedding Interaction Perspective

Hung Tran, Atsuhiro Takasu|arXiv (Cornell University)|Mar 27, 2019

Advanced Graph Neural Networks参考文献 31被引用 7

一句话总结

本文提出了一种统一的多嵌入交互机制，以泛化和分析最先进的知识图谱嵌入模型（如 DistMult、ComplEx 和 CP）。通过将交互建模为多个嵌入向量的加权和，该框架实现了理论上的统一与经验上的比较，进而提出了一种新型基于四元数的四嵌入模型，在关键基准测试中表现优于现有方法，尤其在 Hits@10 性能上表现突出。

ABSTRACT

Knowledge graph is a popular format for representing knowledge, with many applications to semantic search engines, question-answering systems, and recommender systems. Real-world knowledge graphs are usually incomplete, so knowledge graph embedding methods, such as Canonical decomposition/Parallel factorization (CP), DistMult, and ComplEx, have been proposed to address this issue. These methods represent entities and relations as embedding vectors in semantic space and predict the links between them. The embedding vectors themselves contain rich semantic information and can be used in other applications such as data analysis. However, mechanisms in these models and the embedding vectors themselves vary greatly, making it difficult to understand and compare them. Given this lack of understanding, we risk using them ineffectively or incorrectly, particularly for complicated models, such as CP, with two role-based embedding vectors, or the state-of-the-art ComplEx model, with complex-valued embedding vectors. In this paper, we propose a multi-embedding interaction mechanism as a new approach to uniting and generalizing these models. We derive them theoretically via this mechanism and provide empirical analyses and comparisons between them. We also propose a new multi-embedding model based on quaternion algebra and show that it achieves promising results using popular benchmarks. Source code is available on GitHub at https://github.com/tranhungnghiep/AnalyzeKGE.

研究动机与目标

• 为解决不同知识图谱嵌入模型（如实值、复值或角色特定向量）在嵌入向量结构上存在差异而缺乏统一理解的问题。
• 提供一个可泛化的理论框架，将 DistMult、ComplEx、CP 和 CP h 等现有模型统一于单一多嵌入交互机制之下。
• 对不同模型的特性进行经验分析与比较，包括嵌入交互的稳定性、可区分性与完备性。
• 设计并评估一种新型基于四元数的四嵌入交互模型，扩展多嵌入框架，并取得优异的实证结果。
• 探究在自动学习多嵌入交互最优权重向量过程中所面临的挑战，特别是对称梯度崩溃问题。

提出的方法

• 提出一种多嵌入交互机制，其中每个实体和关系由多个嵌入向量表示，匹配得分通过这些向量之间三线性积的加权和计算得出。
• 引入一个理论框架，通过将现有模型的得分函数表示为所提加权和交互机制的特例，从而泛化已有模型。
• 通过数学分析定义有效权重向量的三个关键属性：完备性（涉及所有嵌入）、稳定性（同类型嵌入贡献相等）和可区分性（对不同三元组产生非对称得分）。
• 设计一种基于四元数的四嵌入交互模型，其中每个实体和关系由四个四元数值向量表示，相较于实值或复值嵌入，能够实现更丰富的交互建模。
• 采用端到端训练，结合多种激活函数（tanh、sigmoid、softmax）与正则化技术（L1、Dirichlet NLL），自动学习权重向量，同时分析梯度对称性与局部最优解的挑战。
• 使用标准知识图谱基准数据集（如 FB15k、WN18）进行实证评估，通过 Hits@10、平均倒数排名（MRR）和 Hits@1 等指标比较各模型性能。

实验结果

研究问题

• RQ1 如何通过单一交互机制在理论上统一具有不同嵌入向量结构（如实数、复数、基于角色）的知识图谱嵌入模型？
• RQ2 在多嵌入交互模型中，有效权重向量的特性（如完备性、稳定性、可区分性）是什么？
• RQ3 所提出的基于四元数的四嵌入交互模型是否能在标准知识图谱补全基准测试中超越现有最先进模型（如 ComplEx 和 CP h）？
• RQ4 为何自动学习多嵌入交互最优权重向量尤其具有挑战性？哪些因素导致梯度对称性与局部最优解？
• RQ5 所提模型在在使用启发式数据增强时，对缓解 CP 等模型中已知的过拟合问题有多大改善作用？

主要发现

• 所提出的多嵌入交互机制成功地将现有模型（包括 DistMult、ComplEx、CP 和 CP h）统一并泛化，通过将它们的得分函数表示为加权和框架的特例。
• 基于四元数的四嵌入交互模型在标准基准测试中表现优异，尤其在 Hits@10 指标上显著优于最先进模型（如 ComplEx 和 CP h）。
• 该模型在训练数据上表现出色，Hits@10 达到 1.000，表明可能存在过拟合现象，提示需要改进正则化技术。
• 自动学习权重向量过程困难重重，因梯度呈现对称性，无论使用何种激活函数或 L1/Dirichlet 正则化，模型均收敛至近乎均匀的权重，表明存在根本性的对称性问题。
• 理论分析证实，有效权重向量必须满足完备性、稳定性和可区分性；这些属性在复值模型（如 ComplEx）中因复平面上的旋转不变性而自然满足。
• 实证结果表明，启发式模型（如 CP h）的竞争力并非源于其内在优越性，而是得益于额外嵌入向量的有效利用，而所提框架可对此类方法进行泛化与扩展。