[论文解读] Graph Hawkes Neural Network for Forecasting on Temporal Knowledge Graphs

Zhen Han, Yunpu Ma+3 more|arXiv (Cornell University)|Mar 30, 2020

Point processes and geometric inequalities被引用 13

一句话总结

该论文提出图霍克斯神经网络（GHNN），一种新颖的深度学习模型，通过将每个事实（s,p,o,t）视为时间戳事件，将神经霍克斯过程扩展至大规模时间知识图谱（tKGs）中的时间动态建模。GHNN采用连续时间循环架构，捕捉跨演化图边的复杂自激励与抑制效应，在ICEWS14和GDELT数据集上的链接预测与时间预测任务中均达到最先进性能。

ABSTRACT

The Hawkes process has become a standard method for modeling self-exciting event sequences with different event types. A recent work has generalized the Hawkes process to a neurally self-modulating multivariate point process, which enables the capturing of more complex and realistic impacts of past events on future events. However, this approach is limited by the number of possible event types, making it impossible to model the dynamics of evolving graph sequences, where each possible link between two nodes can be considered as an event type. The number of event types increases even further when links are directional and labeled. To address this issue, we propose the Graph Hawkes Neural Network that can capture the dynamics of evolving graph sequences and can predict the occurrence of a fact in a future time instance. Extensive experiments on large-scale temporal multi-relational databases, such as temporal knowledge graphs, demonstrate the effectiveness of our approach.

研究动机与目标

• 为解决现有模型在捕捉高维事件类型下演化多关系图序列中复杂时间动态方面的局限性。
• 建模大规模时间知识图谱（tKGs）中事件的相互影响，其中每个有向、带标签的边代表一种独立的事件类型。
• 开发一种连续时间预测框架，同时预测未来事实的发生及其精确时间戳，克服离散时间近似方法的不足。
• 提出一种合理评估指标——连续Hits@k（cHits@k），以更准确评估tKGs中时间预测性能。
• 在真实世界tKGs上，证明所提模型在链接预测与时间预测任务中均优于现有最先进方法。

提出的方法

• 提出图霍克斯过程作为多变量点过程模型，捕捉时间知识图谱中事件间的自激励与抑制效应。
• 将每个事实（主语，谓词，宾语，时间）作为连续时间点过程中的独立事件类型建模，支持任意未来时间戳的预测。
• 采用连续时间循环神经网络（RNN）参数化霍克斯过程的强度函数，实现动态、上下文感知的影响建模。
• 利用实体与关系嵌入表示节点与边，并通过注意力机制根据事件类型与时间接近度加权过去事件的影响。
• 利用可微似然函数实现端到端训练，通过最大似然估计同时优化链接预测与时间预测。
• 提出一种新型评估指标——连续Hits@k（cHits@k），定义为平均绝对误差（MAE）低于阈值k的预测比例，以更准确反映时间预测中的预测质量。

实验结果

研究问题

• RQ1 能否有效将神经霍克斯过程扩展至建模具有高维事件类型的大型演化时间知识图谱？
• RQ2 如何在连续时间框架中捕捉多关系、有向、带标签图边间的时间依赖性？
• RQ3 将事件强度建模为时间的连续函数，相比离散时间或仅嵌入的方法，是否能提升预测准确性？
• RQ4 所提模型是否能在真实世界tKGs上的链接预测与时间预测任务中均优于现有最先进方法？
• RQ5 所提的连续Hits@k指标相较于传统MAE，在时间预测任务中是否更能准确反映模型性能？

主要发现

• 在ICEWS14数据集上，GHNN在链接预测中达到最先进性能，MRR为28.71%，Hits@10为46.47%，优于RE-Net（28.56% MRR）及其他所有基线模型。
• 在GDELT数据集上，GHNN取得23.55% MRR与38.92% Hits@10，超越所有对比模型，包括RE-Net与Know-Evolve。
• 在时间预测方面，GHNN在ICEWS14上实现6.10天的MAE，在GDELT上实现7.18小时的MAE，显著优于LiTSEE（分别为108.00天与303.78小时）。
• GHNN在ICEWS14上实现cHits@1为68.73%，在GDELT上为58.79%，表明其在小误差范围内预测时间戳具有强大精度。
• 与RE-Net和Know-Evolve相比，该模型的性能提升归因于其对连续时间强度函数的显式建模及动态影响传播机制。
• 消融实验确认，连续时间建模与基于注意力的影响加权机制对捕捉tKGs中复杂时间动态至关重要。