[论文解读] RotatE: Knowledge Graph Embedding by Relational Rotation in Complex Space

Zhiqing Sun, Zhihong Deng+2 more|arXiv (Cornell University)|Feb 26, 2019

Advanced Graph Neural Networks被引用 771

一句话总结

RotatE 将关系建模为在复空间中的旋转，使得能推断对称/反对称、以及、组合模式；它在多个知识图谱基准上超越现有方法，并引入自对抗负采样。

ABSTRACT

We study the problem of learning representations of entities and relations in knowledge graphs for predicting missing links. The success of such a task heavily relies on the ability of modeling and inferring the patterns of (or between) the relations. In this paper, we present a new approach for knowledge graph embedding called RotatE, which is able to model and infer various relation patterns including: symmetry/antisymmetry, inversion, and composition. Specifically, the RotatE model defines each relation as a rotation from the source entity to the target entity in the complex vector space. In addition, we propose a novel self-adversarial negative sampling technique for efficiently and effectively training the RotatE model. Experimental results on multiple benchmark knowledge graphs show that the proposed RotatE model is not only scalable, but also able to infer and model various relation patterns and significantly outperform existing state-of-the-art models for link prediction.

研究动机与目标

• 动机并解决现有KG嵌入模型在捕捉所有关键关系模式（对称/非对称、反演、组合）方面的局限。
• 提出 RotatE，将关系建模为复数向量空间中的旋转，并演示其推断多种关系模式的能力。
• 展示 RotatE 对大规模知识图谱具有可扩展性，并在标准基准上优于最先进的基线方法。

提出的方法

• 在复数空间中嵌入实体和关系，并将每个关系定义为逐元素旋转：t = h ∘ r，其中对于所有 i 有 |r_i| = 1。
• 使用基于距离的分数 d_r(h,t) = || h ∘ r − t || 来评估三元组。
• 通过自对抗负采样来高效训练 RotatE：用一个基于温度的分布对负样本进行加权，使权重与 f_r(h′,t′) 成正比。
• 提供理论引理，表明 RotatE 能够建模对称/非对称、反演和组合模式。
• 采用 Adam 进行训练，对超参数进行网格搜索，并在多项基准测试中采用筛选设置进行评估。

实验结果

研究问题

• RQ1 RotatE 是否能够同时建模并推断对称/非对称、反演和组合模式？
• RQ2 在标准 KG 基准上，复数空间中对嵌入进行旋转是否相较于现有模型能提升链路预测？
• RQ3 自对抗负采样对训练效率和预测性能的影响是什么？
• RQ4 在设计为强化组合模式的数据集（例如 FB15k-237、Countries）上，RotatE 的表现如何，与其他模型相比？

主要发现

• 在链接预测任务中，RotatE 在 FB15k、WN18、FB15k-237 和 WN18RR 上优于最先进模型。
• 与基线相比，RotatE 在以组合模式为主的数据集（FB15k-237、WN18RR）上有显著改进，模信息对组合建模很重要。
• 自对抗负采样在性能上优于均匀采样和 KBGAN 基线。
• 经验分析表明，RotatE 可以通过 r_i ∈ {±1} 隐式编码对称性，通过共轭嵌入编码反向关系，这支持理论主张。
• 在 Countries 数据集上，RotatE 取得了具有竞争力甚至优于的结果，特别是在需要更长组合的任务上。