[论文解读] Temporal Graph Networks for Deep Learning on Dynamic Graphs

Emanuele Rossi, Ben Chamberlain+4 more|arXiv (Cornell University)|Jun 18, 2020

Advanced Graph Neural Networks参考文献 82被引用 95

一句话总结

时序图网络（TGN）为学习表示为时间戳事件序列的连续时间动态图提供一种通用的、带记忆增强的框架，在高效训练的同时实现了最先进的结果。

ABSTRACT

Graph Neural Networks (GNNs) have recently become increasingly popular due to their ability to learn complex systems of relations or interactions arising in a broad spectrum of problems ranging from biology and particle physics to social networks and recommendation systems. Despite the plethora of different models for deep learning on graphs, few approaches have been proposed thus far for dealing with graphs that present some sort of dynamic nature (e.g. evolving features or connectivity over time). In this paper, we present Temporal Graph Networks (TGNs), a generic, efficient framework for deep learning on dynamic graphs represented as sequences of timed events. Thanks to a novel combination of memory modules and graph-based operators, TGNs are able to significantly outperform previous approaches being at the same time more computationally efficient. We furthermore show that several previous models for learning on dynamic graphs can be cast as specific instances of our framework. We perform a detailed ablation study of different components of our framework and devise the best configuration that achieves state-of-the-art performance on several transductive and inductive prediction tasks for dynamic graphs.

研究动机与目标

• 在交互发生于连续时间而非离散快照的动态图上进行学习的动机。
• 将时序图网络（TGNs）作为连续时间动态图的多功能编码器引入。
• 使基于记忆的每节点表征能够捕捉动态交互中的长期历史。
• 开发一种高效的训练策略，使梯度能够通过内存相关组件传播而不产生信息泄漏。
• 在传导/归纳任务上展示最先进的性能，同时提高计算效率。

提出的方法

• 将连续时间动态图定义为时间戳事件的序列（节点级事件和交互事件）。
• 引入一个存储每个节点状态以捕捉跨事件历史的记忆模块。
• 使用消息函数从事件中计算消息，然后进行聚合，并通过记忆更新器更新每个节点的记忆。
• 提供一个嵌入模块（选项包括恒等、时间投影、时序图注意力和时序图求和），从记忆和邻居信息生成最新的节点嵌入。
• 实现一种嵌入策略，通过采用时间感知编码并结合至多选定跳数的邻域信息来缓解记忆陈旧性。
• 采用一种训练方案，存储原始消息以避免信息泄漏，在处理批量数据时使梯度能够通过内存相关模块流动。
• 在维基百科、Reddit 和 Twitter 数据集上对边预测（传导和归纳）以及动态图节点分类评估 TGNs，并与 CTDNE、Jodie、DyRep、TGAT 及静态基线进行比较。

实验结果

研究问题

• RQ1 带记忆增强、事件驱动的编码器在传导和归纳任务上是否能超越现有的连续时间动态图模型？
• RQ2 结合基于图的嵌入和时间邻域信息是否能够产生更新更及时的节点表征并提高预测性能？
• RQ3 记忆设计（有/无、聚合策略）如何影响准确性和训练效率？
• RQ4 在处理动态图学习时，模型复杂度（层数、注意力机制）与速度之间存在哪些权衡？

主要发现

• TGNs 在多个人工动态图任务和数据集上在边预测和节点分类方面取得最先进的结果。
• 带记忆的模型优于无记忆变体，证明了存储长期节点历史的重要性。
• 基于图的嵌入模块（尤以时序图注意力为甚）显著提升了相较于仅内存或无图的变体的性能。
• 带记忆的 TGNs 的速度显著快于 TGAT（每个历元最多可快 30 倍），同时保持有竞争力或更高的准确性。
• 由于内存访问提供了更广的时序上下文，单一的图注意力层带记忆就足以获得强性能。