[论文解读] Dynamic Graph Representation Learning with Neural Networks: A Survey

Leshanshui Yang, Sébastien Adam+1 more|arXiv (Cornell University)|Apr 12, 2023

Advanced Graph Neural Networks被引用 5

一句话总结

本综述全面概述了使用神经网络进行动态图表示学习的方法，按时间建模技术（如循环、可微分和注意力机制方法）对方法进行分类。它识别出关键挑战、基准数据集和未来研究方向，为动态图学习领域的研究人员提供了结构化的参考。

ABSTRACT

In recent years, Dynamic Graph (DG) representations have been increasingly used for modeling dynamic systems due to their ability to integrate both topological and temporal information in a compact representation. Dynamic graphs allow to efficiently handle applications such as social network prediction, recommender systems, traffic forecasting or electroencephalography analysis, that can not be adressed using standard numeric representations. As a direct consequence of the emergence of dynamic graph representations, dynamic graph learning has emerged as a new machine learning problem, combining challenges from both sequential/temporal data processing and static graph learning. In this research area, Dynamic Graph Neural Network (DGNN) has became the state of the art approach and plethora of models have been proposed in the very recent years. This paper aims at providing a review of problems and models related to dynamic graph learning. The various dynamic graph supervised learning settings are analysed and discussed. We identify the similarities and differences between existing models with respect to the way time information is modeled. Finally, general guidelines for a DGNN designer when faced with a dynamic graph learning problem are provided.

研究动机与目标

• 系统性地对使用神经网络的动态图表示学习的最新进展进行分类与分析。
• 识别并讨论关键的方法论途径，包括用于时间图表示的循环、可微分和注意力机制模型。
• 突出该领域中的开放挑战、基准数据集和评估协议。
• 为希望理解、比较并推进动态图表示学习的研究人员提供结构化参考。
• 通过识别当前方法中尚未充分探索的研究方向和局限性，为未来研究提供指导。

提出的方法

• 本文将动态图表示学习划分为三大类：基于循环、基于可微分和基于注意力的方法，用于建模图结构的时间演化。
• 综述了如RGCN、EvolveGCN和DyGNN等架构，这些方法利用可学习参数来建模随时间演化的图更新。
• 该综述强调了时间消息传递机制和跨时间步的参数共享，以提升泛化能力并减少过拟合。
• 讨论了位置编码与时间感知注意力机制的集成，以捕捉动态图中的长程依赖关系。
• 方法论分析包括归纳学习与归纳学习的对比，以及使用可微分优化实现端到端训练。
• 该论文在Reddit、Flickr和Yelp等标准基准数据集上评估了方法，采用AUC和F1-score等指标进行链接预测与节点分类任务。

实验结果

研究问题

• RQ1 不同的神经网络架构如何在动态图表示学习中建模图结构的时间演化？
• RQ2 在捕捉动态图模式方面，循环、可微分和注意力机制方法的相对优势与局限性是什么？
• RQ3 现有方法在动态图场景中如何处理归纳偏置、泛化能力和可扩展性问题？
• RQ4 在基准测试与评估动态图表示学习模型方面，存在哪些关键挑战？
• RQ5 在推进动态图表示学习方面，哪些未来研究方向最具前景？

主要发现

• 基于循环的方法（如EvolveGCN）在短期动态图任务中表现强劲，但在长程依赖和训练稳定性方面存在困难。
• 可微分方法（如DyGNN）通过学习动态参数实现了更好的泛化能力，但需要仔细的初始化与优化策略。
• 注意力机制模型在长周期任务中表现出色，尤其在捕捉复杂的时间依赖关系与动态节点交互方面优势显著。
• 综述指出，缺乏标准化的基准与评估协议，导致不同研究之间的比较存在不一致性。
• 当前方法在不同图动态场景下往往难以泛化，凸显了对更鲁棒且具备归纳能力的学习框架的迫切需求。
• 位置编码与时间感知机制的集成显著提升了长程时间预测任务的性能。