[论文解读] DyERNIE: Dynamic Evolution of Riemannian Manifold Embeddings for Temporal Knowledge Graph Completion

Zhen Han, Yunpu Ma+2 more|arXiv (Cornell University)|Nov 8, 2020

Advanced Graph Neural Networks参考文献 41被引用 4

一句话总结

DyERNIE 通过在具有不同曲率的黎曼流形的乘积上建模随时间演化的实体表示，提出了一种非欧几里得方法用于时间知识图谱补全。它利用切空间中的速度向量来捕捉时间动态，在三个基准数据集上实现了最先进性能，更好地建模了时间知识图谱中固有的层次和循环结构。

ABSTRACT

There has recently been increasing interest in learning representations of temporal knowledge graphs (KGs), which record the dynamic relationships between entities over time. Temporal KGs often exhibit multiple simultaneous non-Euclidean structures, such as hierarchical and cyclic structures. However, existing embedding approaches for temporal KGs typically learn entity representations and their dynamic evolution in the Euclidean space, which might not capture such intrinsic structures very well. To this end, we propose Dy- ERNIE, a non-Euclidean embedding approach that learns evolving entity representations in a product of Riemannian manifolds, where the composed spaces are estimated from the sectional curvatures of underlying data. Product manifolds enable our approach to better reflect a wide variety of geometric structures on temporal KGs. Besides, to capture the evolutionary dynamics of temporal KGs, we let the entity representations evolve according to a velocity vector defined in the tangent space at each timestamp. We analyze in detail the contribution of geometric spaces to representation learning of temporal KGs and evaluate our model on temporal knowledge graph completion tasks. Extensive experiments on three real-world datasets demonstrate significantly improved performance, indicating that the dynamics of multi-relational graph data can be more properly modeled by the evolution of embeddings on Riemannian manifolds.

研究动机与目标

• 为了解决欧几里得空间在捕捉时间知识图谱中固有的几何结构（如层次和循环）方面的局限性。
• 以几何上合理的方式建模实体随时间的动态演化，超越静态或线性表示。
• 开发一种方法，通过黎曼流形动力学同时学习静态的结构依赖关系和随时间变化的行为。
• 证明具有异质曲率的乘积流形能更好地反映现实世界时间知识图谱中的复杂几何模式。

提出的方法

• 实体表示初始化在具有不同曲率的黎曼流形乘积上，曲率由底层时间知识图谱数据的截面曲率估计得出。
• 通过定义在每个实体初始嵌入处切空间中的速度向量来建模时间演化，实现在流形上的平滑测地线运动。
• 通过使用黎曼指数映射，将初始嵌入与按时间缩放的速度向量进行指数运算，生成时间相关的嵌入。
• 模型使用关系感知的距离函数，基于关系特定的参数调整主体和客体嵌入。
• 基于对截面曲率和数据几何的实证分析，选择各分量流形的曲率和维度。
• 消融研究证实了动态组件的重要性，且线性演化优于复杂周期函数。

实验结果

研究问题

• RQ1 在具有异质曲率的黎曼流形上建模时间知识图谱动态，是否能相比欧几里得基线提升链接预测性能？
• RQ2 切空间中的速度向量如何有效捕捉多关系时间图中实体的时间变化行为？
• RQ3 具有可变曲率的乘积流形在多大程度上能反映现实世界时间知识图谱中固有的几何结构（如层次和循环）？
• RQ4 在黎曼流形上进行嵌入的动态演化，是否优于静态或纯周期性表示函数，在建模时间知识图谱方面表现更优？

主要发现

• DyERNIE 在 ICEWS14 数据集上使用线性演化实现过滤后的 MRR 为 55.87，显著优于非线性周期和组合模型。
• 消融研究显示，移除动态组件后 Hits@1 降低至约一半，证明了时间演化的关键作用。
• 图中度数较高的实体始终位于庞加莱球原点附近，表明模型成功捕捉了层次结构。
• 速度向量范数与节点度数呈负相关，表明中心高阶实体具有稳定且低运动的动态特性。
• 当距离函数被简化时，尤其是移除平移向量后，模型性能显著下降，说明其重要性。
• 乘积流形结构通过在所有三个基准数据集上性能提升，证明了其在建模复杂几何模式方面的优势。