[论文解读] Modeling Dynamic Heterogeneous Network for Link Prediction using Hierarchical Attention with Temporal RNN

Hansheng Xue, Luwei Yang+4 more|arXiv (Cornell University)|Apr 1, 2020

Advanced Graph Neural Networks参考文献 42被引用 10

一句话总结

该论文提出 DyHATR，一种动态异构网络嵌入方法，利用层次注意力机制捕捉节点和边的异质性，并采用时间注意力 RNN（GRU/LSTM）对网络快照序列中的演化模式进行建模。DyHATR 在四个真实世界数据集上的链接预测任务中显著优于最先进基线方法，展现出在建模结构异质性和时间动态性方面的优越性能。

ABSTRACT

Network embedding aims to learn low-dimensional representations of nodes while capturing structure information of networks. It has achieved great success on many tasks of network analysis such as link prediction and node classification. Most of existing network embedding algorithms focus on how to learn static homogeneous networks effectively. However, networks in the real world are more complex, e.g., networks may consist of several types of nodes and edges (called heterogeneous information) and may vary over time in terms of dynamic nodes and edges (called evolutionary patterns). Limited work has been done for network embedding of dynamic heterogeneous networks as it is challenging to learn both evolutionary and heterogeneous information simultaneously. In this paper, we propose a novel dynamic heterogeneous network embedding method, termed as DyHATR, which uses hierarchical attention to learn heterogeneous information and incorporates recurrent neural networks with temporal attention to capture evolutionary patterns. We benchmark our method on four real-world datasets for the task of link prediction. Experimental results show that DyHATR significantly outperforms several state-of-the-art baselines.

研究动机与目标

• 为解决在动态网络中同时学习异质信息与演化模式的挑战。
• 开发一个统一框架，以捕捉静态快照中多种节点类型和边类型的结构异质性。
• 利用具有时间注意力的循环神经网络对动态网络中的长期时间演化进行建模。
• 在真实世界数据集上对方法进行评估，以实现动态链接预测任务。
• 展示在引入节点属性时，模型的可扩展性与性能提升。

提出的方法

• DyHATR 采用具有节点级和边级注意力的层次注意力机制，用于建模静态网络快照中的异质性。
• 利用时间注意力 RNN（GRU 或 LSTM）对序列快照进行编码，学习随时间演化的节点表示。
• 层次注意力模块在不同节点类型和边类型之间计算注意力权重，以优先关注每个快照中的信息性结构模式。
• 时间 RNN 在时间维度上整合注意力，以强调关键快照并捕捉长期演化趋势。
• 通过异质结构与时间动态性的联合迭代更新，更新节点表示，最终嵌入用于下游链接预测任务。
• 模型支持输入特征包括节点 ID 和可选的节点属性，从而实现对属性化网络的可扩展性支持。

实验结果

研究问题

• RQ1 统一的深度学习框架能否有效建模动态网络中的异质网络结构与时间演化？
• RQ2 与标准元路径方法相比，层次注意力在异质静态快照中的表示学习中表现如何？
• RQ3 RNN 中的时间注意力在建模动态网络中的长期演化模式方面能带来多大程度的增强？
• RQ4 注意力头数量与嵌入维度等超参数对动态链接预测性能有何影响？
• RQ5 在真实世界属性化动态异构网络中，引入节点属性是否能进一步提升链接预测性能？

主要发现

• 在 EComm 数据集上，当使用节点 ID 和附加属性时，DyHATR 的 AUROC 达到 0.704，显著优于仅使用节点 ID 的基线方法（AUROC 为 0.690）。
• 在 Twitter 数据集上，DyHATR-TGRU 的 AUROC 达到 0.688，显著优于最先进基线方法在动态链接预测任务中的表现。
• 时间注意力与 GRU/LSTM 的结合优于单一组件，证明了注意力 RNN 设计的有效性。
• 最优性能在层次注意力中使用 4 个注意力头、时间注意力中使用 8 个注意力头时达到，嵌入维度为 32 时 AUROC 最高。
• 更细粒度的快照时间间隔（如每日）相比粗粒度间隔（如每两天）能提升性能，证实了更高时间分辨率的优势。
• 训练时间略长于基于 metapath2vec 的方法（DyHATR-TGRU 为 579 秒，metapath2vec-GRU 为 475 秒），但性能提升使其成本合理。