[论文解读] Temporal Knowledge Graph Forecasting with Neural ODE

Zhen Han, Zifeng Ding+3 more|arXiv (Cornell University)|Jan 13, 2021

Advanced Graph Neural Networks参考文献 29被引用 22

一句话总结

该论文提出TANGO，一种基于神经常微分方程（NODE）的新模型，用于预测时间知识图谱（tKGs）中的未来链接。通过将多关系图卷积网络与连续时间ODE结合，TANGO在时间上学习平滑的动态实体和关系嵌入，并引入图转换层以显式建模边的形成与消失，从而在五个基准数据集上实现了长时程和归纳性链接预测的最先进性能。

ABSTRACT

There has been an increasing interest in inferring future links on temporal knowledge graphs (KG). While links on temporal KGs vary continuously over time, the existing approaches model the temporal KGs in discrete state spaces. To this end, we propose a novel continuum model by extending the idea of neural ordinary differential equations (ODEs) to multi-relational graph convolutional networks. The proposed model preserves the continuous nature of dynamic multi-relational graph data and encodes both temporal and structural information into continuous-time dynamic embeddings. In addition, a novel graph transition layer is applied to capture the transitions on the dynamic graph, i.e., edge formation and dissolution. We perform extensive experiments on five benchmark datasets for temporal KG reasoning, showing our model's superior performance on the future link forecasting task.

研究动机与目标

• 为了解决现有时间知识图谱（tKG）方法中离散时间建模的局限性，这些方法无法捕捉不规则时间间隔和动态结构变化。
• 开发一种连续时间表征学习框架，以在时间上平滑地建模演化的多关系图数据。
• 通过专用的图转换层显式建模边的转换——形成与消失，以改善对关键动态事件的预测。
• 在新颖且具有挑战性的任务上评估模型：长时程链接预测和归纳性链接预测，以检验其对未见实体和长期预测的泛化能力。
• 证明神经ODE可以被有效扩展至多关系图结构，以支持时间推理。

提出的方法

• 该模型采用多关系图卷积网络（MGCN）在每个时间步对tKG中的结构依赖关系进行编码。
• 使用神经常微分方程（NODE）对实体和关系表征的连续时间演化进行建模，将时间视为网络的深度。
• ODE求解器在时间上整合隐藏状态，实现时间戳之间的平滑过渡和连续动态嵌入。
• 图转换层处理一个过渡张量，该张量编码快照之间边的形成与删除事件，使模型能够聚焦于图中演化的部分。
• 通过时间感知过滤进行端到端训练，使用链接预测损失进行优化，以确保性能评估的现实性。
• 该框架支持归纳性和归纳性链接预测，通过连续时间动态实现对未见节点的泛化。

实验结果

研究问题

• RQ1 神经ODE能否被有效扩展以在连续时间中建模动态多关系知识图谱？
• RQ2 与标准邻接张量输入相比，显式建模边的转换（形成与消失）是否能提升链接预测性能？
• RQ3 在长时程链接预测中，当预测时间间隔ΔT显著大于训练间隔时，模型表现如何？
• RQ4 模型能否在归纳性链接预测中实现泛化，其中测试实体在训练期间未被见过？
• RQ5 与离散时间基线相比，TANGO的连续时间建模在捕捉时间动态方面表现如何？

主要发现

• TANGO在五个基准时间知识图谱数据集上达到最先进性能，优于RE-Net等强基线模型，在长时程和归纳性链接预测任务中均表现更优。
• 在长时程链接预测中，TANGO相对于RE-Net保持稳定的性能优势，仅当预测时域ΔT增大时差距才逐渐缩小，表明其对更长时间间隔具有鲁棒性。
• 消融研究显示，移除图转换层会显著降低性能，证明其在捕捉动态变化中的关键作用。
• 在归纳性链接预测中，TANGO-TuckER在所有指标上均取得最佳结果，展现出对未见实体的强大泛化能力。
• 模型的连续时间公式化相比离散时间模型，能更好地建模不规则时间间隔和时间动态。
• 结果证实，神经ODE可成功适配至多关系图结构，实现表征在时间上的平滑、可微分演化。