[论文解读] Multi-relational Poincaré Graph Embeddings

Ivana Balažević, Carl Allen+1 more|arXiv (Cornell University)|May 23, 2019

Advanced Graph Neural Networks参考文献 38被引用 29

一句话总结

本文提出 MuRP，一种多关系 Poincaré 图嵌入模型，利用 Möbius 矩阵-向量乘法和 Möbius 加法在双曲空间中学习关系特定的变换。由于双曲空间能更好地表示多个同时存在的层级结构，该模型在层次化 WN18RR 数据集上的链接预测任务中优于欧几里得模型和当前最先进的模型，尤其在低维设置下表现更优。

ABSTRACT

Hyperbolic embeddings have recently gained attention in machine learning due to their ability to represent hierarchical data more accurately and succinctly than their Euclidean analogues. However, multi-relational knowledge graphs often exhibit multiple simultaneous hierarchies, which current hyperbolic models do not capture. To address this, we propose a model that embeds multi-relational graph data in the Poincaré ball model of hyperbolic space. Our Multi-Relational Poincaré model (MuRP) learns relation-specific parameters to transform entity embeddings by Möbius matrix-vector multiplication and Möbius addition. Experiments on the hierarchical WN18RR knowledge graph show that our Poincaré embeddings outperform their Euclidean counterpart and existing embedding methods on the link prediction task, particularly at lower dimensionality.

研究动机与目标

• 为解决现有双曲模型在捕捉多关系知识图谱中多个同时存在的层级结构方面的局限性。
• 开发一种在双曲空间中学习关系特定嵌入的理论基础方法，以保持层级结构。
• 证明 Poincaré 嵌入在低维设置下对层次化多关系数据的链接预测任务中可优于欧几里得模型。
• 分析 Poincaré 嵌入与欧几里得嵌入在几何和表征特性上的差异，包括收敛性和影响球动态。

提出的方法

• 该模型使用双曲空间的 Poincaré 球模型来表示实体和关系，利用恒定负曲率以适应层级数据。
• 通过 Möbius 矩阵-向量乘法和 Möbius 加法来学习实体嵌入的关系特定变换。
• 每种关系都关联一个变换矩阵和偏置向量，从而实现每种关系的独立层级组织。
• 模型采用基于双曲距离的得分函数来预测链接的可能性，并使用 Sigmoid 激活函数输出概率。
• 通过在 Poincaré 流形上的黎曼随机梯度下降进行嵌入优化。
• 每个实体的影响球由其偏置定义，偏置范数越大，对应于 Poincaré 圆盘中更大的半径。

实验结果

研究问题

• RQ1 能否在双曲空间中有效表示具有多个同时存在的层级结构的多关系知识图谱？
• RQ2 基于 Poincaré 球中 Möbius 运算的平移模型是否在层次化数据的链接预测中优于欧几里得模型？
• RQ3 Poincaré 嵌入的维度与欧几里得嵌入相比，在实现高链接预测性能方面有何差异？
• RQ4 所学嵌入的几何行为如何，特别是向量范数与偏置的相关性，以及真实正例与虚假正例的空间分离特性？

主要发现

• MuRP 在层次化 WN18RR 数据集的链接预测任务中达到最先进性能，优于其欧几里得对应模型 MuRE 和现有模型。
• 在 WN18RR 数据集上，MuRP 在 'instance_hypernym' 关系上的平均倒数排名（MRR）达到 0.488，超越了次优方法。
• MuRP 实现相当性能所需的维度远少于欧几里得模型，表明双曲几何在层级数据中具有更高的效率。
• 该模型在 WN18RR 上的虚假正例多为实际缺失的事实（如马来西亚等国家），表明当前评估协议可能不可靠。
• 可视化显示，由于圆盘边界附近空间更大，Poincaré 嵌入能更有效地将真实正例与虚假负例分离。
• 观察到嵌入向量范数与偏置之间存在强相关性，表明距离原点越远的实体具有更大的影响球。