[论文解读] Heterogeneous Temporal Graph Neural Network

Yujie Fan, Mingxuan Ju+3 more|arXiv (Cornell University)|Oct 26, 2021

Advanced Graph Neural Networks被引用 5

一句话总结

该论文提出了一种异构时序图神经网络（HTGNN），这是一种新颖的图神经网络框架，通过分层聚合机制——包括同关系内、跨关系间和跨时间的聚合——联合建模异构空间依赖性和时序动态性，在真实世界的异构时序图（如OGBN-MAG和COVID-19数据集）上实现了最先进性能。

ABSTRACT

Graph neural networks (GNNs) have been broadly studied on dynamic graphs for their representation learning, majority of which focus on graphs with homogeneous structures in the spatial domain. However, many real-world graphs - i.e., heterogeneous temporal graphs (HTGs) - evolve dynamically in the context of heterogeneous graph structures. The dynamics associated with heterogeneity have posed new challenges for HTG representation learning. To solve this problem, in this paper, we propose heterogeneous temporal graph neural network (HTGNN) to integrate both spatial and temporal dependencies while preserving the heterogeneity to learn node representations over HTGs. Specifically, in each layer of HTGNN, we propose a hierarchical aggregation mechanism, including intra-relation, inter-relation, and across-time aggregations, to jointly model heterogeneous spatial dependencies and temporal dimensions. To retain the heterogeneity, intra-relation aggregation is first performed over each slice of HTG to attentively aggregate information of neighbors with the same type of relation, and then intra-relation aggregation is exploited to gather information over different types of relations; to handle temporal dependencies, across-time aggregation is conducted to exchange information across different graph slices over the HTG. The proposed HTGNN is a holistic framework tailored heterogeneity with evolution in time and space for HTG representation learning. Extensive experiments are conducted on the HTGs built from different real-world datasets and promising results demonstrate the outstanding performance of HTGNN by comparison with state-of-the-art baselines. Our built HTGs and code have been made publicly accessible at: https://github.com/YesLab-Code/HTGNN.

研究动机与目标

• 解决异构时序图（HTGs）上的表示学习挑战，这些图在结构和特征上均呈现动态演化。
• 克服现有模型在处理空间与时序依赖关系时采用串行方式、且对图特性敏感的局限性。
• 开发一个统一框架，在建模动态HTG中联合空间-时序交互的同时，保留图的异构性。
• 实现在多种HTG类型上的性能鲁棒性，例如结构演化的图（如学术网络）或特征变化的图（如流行病学网络）。

提出的方法

• 在每个HTGNN层中提出一种分层聚合机制：同关系内聚合用于收集同一关系类型内的邻居信息。
• 应用跨关系间聚合以在不同关系类型之间聚合信息，保留空间结构中的异构性。
• 引入跨时间聚合以在时间切片之间交换信息，显式建模时序演化。
• 设计一个整体的、端到端的框架，联合处理空间与时序依赖关系，而非串行处理。
• 在同关系内和跨关系间模块中利用注意力机制，动态加权邻居的贡献。
• 集成残差连接和归一化操作，以缓解多层网络中的过平滑问题并提升训练稳定性。

实验结果

研究问题

• RQ1 如何使图神经网络模型有效捕捉演化图中异构的空间依赖性和时序动态性？
• RQ2 统一框架是否能超越为结构动态或特征动态专门设计的模型在HTG中的表现？
• RQ3 同关系内、跨关系间和跨时间聚合在HTG表示学习中的贡献程度如何？
• RQ4 所提出的HTGNN对超参数（如模型深度、嵌入维度和时间窗口大小）的敏感性如何？
• RQ5 联合建模空间与时序维度是否能提升在多样化HTG特性下的泛化能力？

主要发现

• 在OGBN-MAG和COVID-19数据集上，HTGNN分别取得了91.01±0.77的AUC和89.18±1.24的AP，优于HTGNN ST和HTGNN TS两种变体。
• 在OGBN-MAG数据集上，HTGNN ST表现更优（AUC: 89.35±0.81），该数据集以结构动态为主；而在COVID-19数据集上，HTGNN TS表现更佳（AUC: 88.01±0.71），该数据集以特征动态为主。
• 消融实验表明，三种组件——跨关系间、同关系内和跨时间聚合——均不可或缺，完整模型优于任何单个组件被移除的变体。
• 模型对深度敏感，性能在3–4层时达到峰值，之后因过平滑而下降。
• 更大的嵌入维度最初能提升性能，但若设置过高则导致过拟合，表明存在最优的表示容量范围。
• 时间窗口大小具有非单调影响：性能随窗口增大而提升，但超过某一临界点后因历史数据中的噪声或冗余导致波动。