[论文解读] DensE: An Enhanced Non-Abelian Group Representation for Knowledge Graph Embedding.

H. Lu, Hailin Hu|arXiv (Cornell University)|Aug 11, 2020

Advanced Graph Neural Networks参考文献 19被引用 11

一句话总结

DensE 提出了一种新颖的知识图嵌入方法，通过在三维欧几里得空间中将关系建模为 SO(3) 旋转与缩放算子，增强了 RotatE，实现了非交换性、与实体相关的复合关系以及自适应缩放。该方法在链接预测任务上取得了最先进性能，尤其在复杂复合关系上表现优异，同时保持了更低的模型复杂度和几何可解释性。

ABSTRACT

Capturing the composition patterns of relations is a vital task in knowledge graph completion. It also serves as a fundamental step towards multi-hop reasoning over learned knowledge. Previously, rotation-based translational methods, e.g., RotatE, have been developed to model composite relations using the product of a series of complex-valued diagonal matrices. However, RotatE makes several oversimplified assumptions on the composition patterns, forcing the relations to be commutative, independent from entities and fixed in scale. To tackle this problem, we have developed a novel knowledge graph embedding method, named DensE, to provide sufficient modeling capacity for complex composition patterns. In particular, our method decomposes each relation into an SO(3) group-based rotation operator and a scaling operator in the three dimensional (3-D) Euclidean space. The advantages of our method are twofold: (1) For composite relations, the corresponding diagonal relation matrices can be non-commutative and related with entity embeddings; (2) It extends the concept of RotatE to a more expressive setting with lower model complexity and preserves the direct geometrical interpretations, which reveals how relations with distinct patterns (i.e., symmetry/anti-symmetry, inversion and composition) are modeled. Experimental results on multiple benchmark knowledge graphs show that DensE outperforms the current state-of-the-art models for missing link prediction, especially on composite relations.

研究动机与目标

• 为解决 RotatE 在建模复杂关系复合模式方面的局限性。
• 放松 RotatE 过于简化的假设，例如交换性、固定缩放比例以及与实体无关性。
• 为知识图中的复合关系开发一种更具表达性且高效的表示方法。
• 在超越复值旋转建模能力的同时，保持几何可解释性。
• 通过准确捕捉对称性、反对称性、逆关系以及复合模式，提升多跳推理能力。

提出的方法

• DensE 将每个关系分解为三维欧几里得空间中的 SO(3) 旋转算子和缩放算子。
• 该方法通过旋转矩阵与缩放矩阵的乘积来建模复合关系，从而实现非交换行为。
• 通过将实体嵌入融入关系矩阵，使复合关系模式依赖于具体实体。
• 缩放分量使关系能够改变大小，克服了 RotatE 固定缩放的局限性。
• 通过在三维旋转与缩放框架中嵌入关系，模型保持了直接的几何解释。
• 通过实体特定关系算子的矩阵乘法实现复合关系建模，同时保持了可解释性。

实验结果

研究问题

• RQ1 与复值方法相比，三维欧几里得空间表示是否能更有效地建模非交换复合关系？
• RQ2 将与实体相关的矩阵关系引入后，对复合关系建模能力的提升程度如何？
• RQ3 引入缩放机制在复合关系预测性能上的提升程度有多大？
• RQ4 所提出的方法是否在提升表达能力的同时，仍保持了良好的几何可解释性？
• RQ5 与最先进模型相比，DensE 在多跳推理基准上的表现如何？

主要发现

• DensE 在多个基准知识图上对缺失链接预测任务的表现优于最先进模型。
• 该模型在复合关系任务上表现更优，尤其在涉及非交换或可变缩放模式的关系上。
• 与其它高表达能力模型相比，DensE 保持了更低的模型复杂度，同时提升了预测准确性。
• 将关系解释为三维旋转与缩放，为对称性、反对称性及逆关系行为提供了清晰的几何洞察。
• 通过引入与实体相关的矩阵关系，模型能够更准确地捕捉上下文敏感的关系复合模式。
• 实证结果证实，扩展的建模能力带来了可测量的链接预测性能提升，尤其在复杂关系模式下。