[论文解读] Graph Hawkes Network for Reasoning on Temporal Knowledge Graphs

Zhen Han, Yuyi Wang+3 more|arXiv (Cornell University)|Dec 14, 2019

Diffusion and Search Dynamics被引用 13

一句话总结

本文提出图霍克斯网络（GHN），一种神经点过程模型，通过将每个有向带标签边视为一种事件类型，将霍克斯过程扩展至动态建模随时间演化的时序知识图谱。通过利用图注意力机制与神经自调制，GHN 能够高效捕捉大规模时序关系数据中的复杂长程依赖，其在时序知识图谱推理任务上的表现优于先前方法。

ABSTRACT

The Hawkes process has become a standard method for modeling self-exciting event sequences with different event types. A recent work generalizing the Hawkes process to a neurally self-modulating multivariate point process enables the capturing of more complex and realistic influences of past events on the future. However, this approach is limited by the number of event types, making it impossible to model the dynamics of evolving graph sequences, where each possible link between two nodes can be considered as an event type. The problem becomes even more dramatic when links are directional and labeled, since, in this case, the number of event types scales with the number of nodes and link types. To address this issue, we propose the Graph Hawkes Network to capture the dynamics of evolving graph sequences. Extensive experiments on large-scale temporal relational databases, such as temporal knowledge graphs, demonstrate the effectiveness of our approach.

研究动机与目标

• 解决现有霍克斯过程模型在应用于具有大量事件类型的大型时序知识图谱时的可扩展性限制。
• 建模每个有向带标签边构成独立事件类型的演化图序列的动力学特性。
• 通过神经自调制捕捉复杂长程依赖，实现对时序知识图谱的有效推理。
• 开发一种可扩展且表达能力强的框架，将多变量霍克斯过程推广至图结构事件序列。

提出的方法

• 图霍克斯网络将时序知识图谱中的每条边视为一种独立的事件类型，使系统能够高效处理大量事件类型。
• 采用图神经网络（GNN）编码节点和边的表征，捕捉结构与关系上下文。
• 通过神经自调制机制动态调整未来事件的强度，建模自激发现与交叉激发。
• 利用注意力机制加权过去事件对未来预测的影响，实现对相关历史交互的聚焦。
• 通过深度神经网络参数化强度函数，整合节点特征、边类型与时序动态。
• 采用观察到的事件序列的负对数似然损失进行端到端训练。

实验结果

研究问题

• RQ1 神经点过程模型能否有效扩展至具有大量事件类型的时序知识图谱？
• RQ2 该模型在演化图序列中捕捉复杂长程依赖的能力如何？
• RQ3 整合图结构与注意力机制在多大程度上提升了时序知识图谱推理性能？
• RQ4 与现有方法相比，该模型在预测准确率与可扩展性方面表现如何？

主要发现

• 图霍克斯网络在大规模时序知识图谱推理基准上达到最先进性能。
• 该模型有效捕捉了演化图序列中的长程依赖，优于标准霍克斯过程及其他基线模型。
• 图注意力与神经自调制的集成显著提升了预测准确率，相较无此组件的模型表现更优。
• 该框架能高效扩展至节点与带标签边数量庞大的图，克服了传统多变量霍克斯过程的局限性。