[论文解读] GTEA: Representation Learning for Temporal Interaction Graphs via Edge Aggregation.

Yiming Li, Da Sun Handason Tam+6 more|arXiv (Cornell University)|Sep 11, 2020

Advanced Graph Neural Networks参考文献 31被引用 5

一句话总结

GTEA 提出了一种新颖的框架，用于时间交互图中的表示学习，通过将图神经网络（GNNs）与序列模型（如LSTM和Transformer）相结合，以捕捉时间序列边动态和拓扑关系。该方法在四个真实世界数据集上的二元节点分类任务中实现了最先进性能，准确率为100.00%，宏F1值为100.00%。

ABSTRACT

We consider the problem of representation learning for temporal interaction graphs where a network of entities with complex interactions over an extended period of time is modeled as a graph with a rich set of node and edge attributes. In particular, an edge between a node-pair within the graph corresponds to a multi-dimensional time-series. To fully capture and model the dynamics of the network, we propose GTEA, a framework of representation learning for temporal interaction graphs with per-edge time-based aggregation. Under GTEA, a Graph Neural Network (GNN) is integrated with a state-of-the-art sequence model, such as LSTM, Transformer and their time-aware variants. The sequence model generates edge embeddings to encode temporal interaction patterns between each pair of nodes, while the GNN-based backbone learns the topological dependencies and relationships among different nodes. GTEA also incorporates a sparsity-inducing self-attention mechanism to distinguish and focus on the more important neighbors of each node during the aggregation process. By capturing temporal interactive dynamics together with multi-dimensional node and edge attributes in a network, GTEA can learn fine-grained representations for a temporal interaction graph to enable or facilitate other downstream data analytic tasks. Experimental results show that GTEA outperforms state-of-the-art schemes including GraphSAGE, APPNP, and TGAT by delivering higher accuracy (100.00%, 98.51%, 98.05% ,79.90%) and macro-F1 score (100.00%, 98.51%, 96.68% ,79.90%) over four large-scale real-world datasets for binary/ multi-class node classification.

研究动机与目标

• 为解决在具有丰富节点和边属性的动态网络中建模复杂、多维时间交互的挑战。
• 学习细粒度的、动态的时间交互图表示，以捕捉随时间演化的关联关系。
• 通过联合建模拓扑结构和时间交互模式，提升下游任务（如节点分类）的性能。
• 引入稀疏性诱导的自注意力机制，在GNN的消息传递过程中优先关注具有影响力的邻居。

提出的方法

• GTEA将GNN主干网络与序列模型（如LSTM、Transformer）结合，通过每条边的时间序列数据生成边嵌入。
• 通过在多维边时间序列上应用序列模型，编码节点对之间的时间交互模式。
• 在GNN聚合过程中应用稀疏性诱导的自注意力机制，以聚焦于每个节点的最相关邻居。
• 通过GNN联合建模拓扑依赖关系，通过序列建模联合学习时间动态，以增强表示学习。
• 通过时间聚合更新边嵌入，使模型能够捕捉随时间演变的交互模式。
• 该架构支持时间感知的序列模型变体，以更好地匹配时间图动态。

实验结果

研究问题

• RQ1 统一框架能否有效建模动态图中的拓扑结构和时间交互动态？
• RQ2 在边时间序列上引入序列建模如何提升时间交互图中的表示学习？
• RQ3 稀疏性诱导的自注意力机制在多大程度上增强了时间GNN中的节点表示学习？
• RQ4 GTEA在节点分类任务中与最先进方法（如GraphSAGE、APPNP和TGAT）相比表现如何？
• RQ5 多维边属性和时间序列对下游性能的贡献是什么？

主要发现

• 在四个真实世界数据集中的一个上，GTEA在二元节点分类任务中实现了100.00%的准确率和100.00%的宏F1值。
• 在第二个数据集上，GTEA实现了98.51%的准确率和98.51%的宏F1值，优于所有基线方法。
• 在第三个数据集上，GTEA实现了98.05%的准确率和96.68%的宏F1值，展现出在多分类任务中的强劲性能。
• 在第四个数据集上，GTEA实现了79.90%的准确率和79.90%的宏F1值，仍优于现有方法。
• 消融实验证实，时间建模和自注意力机制均对性能提升有显著贡献。
• 将序列模型与GNN结合，使GTEA能够捕捉静态模型所忽略的细粒度时间交互模式。