[论文解读] A Survey on Dynamic Network Embedding

Yu Xie, Chunyi Li+3 more|arXiv (Cornell University)|Jun 15, 2020

Advanced Graph Neural Networks参考文献 47被引用 25

一句话总结

本综述全面概述了动态网络嵌入（DNE）方法，将其分类为五类：基于矩阵分解、基于Skip-Gram、基于自编码器、基于神经网络以及其他方法。系统性地回顾了数据集、下游任务，并识别出关键挑战，如可扩展性、异构网络、属性网络、面向任务的学习以及多嵌入空间，为未来在演化网络表征学习领域的研究提供了基础参考。

ABSTRACT

Real-world networks are composed of diverse interacting and evolving entities, while most of existing researches simply characterize them as particular static networks, without consideration of the evolution trend in dynamic networks. Recently, significant progresses in tracking the properties of dynamic networks have been made, which exploit changes of entities and links in the network to devise network embedding techniques. Compared to widely proposed static network embedding methods, dynamic network embedding endeavors to encode nodes as low-dimensional dense representations that effectively preserve the network structures and the temporal dynamics, which is beneficial to multifarious downstream machine learning tasks. In this paper, we conduct a systematical survey on dynamic network embedding. In specific, basic concepts of dynamic network embedding are described, notably, we propose a novel taxonomy of existing dynamic network embedding techniques for the first time, including matrix factorization based, Skip-Gram based, autoencoder based, neural networks based and other embedding methods. Additionally, we carefully summarize the commonly used datasets and a wide variety of subsequent tasks that dynamic network embedding can benefit. Afterwards and primarily, we suggest several challenges that the existing algorithms faced and outline possible directions to facilitate the future research, such as dynamic embedding models, large-scale dynamic networks, heterogeneous dynamic networks, dynamic attributed networks, task-oriented dynamic network embedding and more embedding spaces.

研究动机与目标

• 为解决静态网络嵌入在捕捉现实世界网络时间演化方面的局限性。
• 首次系统性地提出现有动态网络嵌入技术的分类体系。
• 总结广泛使用的数据集以及由动态网络嵌入支持的下游机器学习任务。
• 识别关键开放挑战，并提出动态网络表征学习中具有前景的未来研究方向。

提出的方法

• 提出一种新颖的五类动态网络嵌入分类体系：基于矩阵分解、基于Skip-Gram、基于自编码器、基于神经网络以及其他方法。
• 将动态网络分为两类：基于快照（离散时间间隔）和连续时间（带时间戳的边）。
• 回顾各类中的代表性模型，包括DeepWalk、node2vec、LINE、SDNE的时间扩展版本，以及基于自编码器的方法如DANE和EOE。
• 分析模型设计原则，以在网络演化过程中同时保留结构和时间动态性。
• 提出一种通过下游任务（如链接预测、节点分类和聚类）评估嵌入质量的框架。
• 提出一种多空间嵌入范式，以增强表征能力并保留复杂的网络动态。

实验结果

研究问题

• RQ1 动态网络嵌入方法如何在保留网络结构的同时有效捕捉时间演化？
• RQ2 基于快照与连续时间建模动态网络的关键差异和权衡是什么？
• RQ3 现有DNE方法在链接预测和节点分类等多样化下游任务中的表现如何？
• RQ4 在大规模和异构网络中，动态网络嵌入的可扩展性面临哪些主要挑战？
• RQ5 面向任务或多嵌入空间设计如何提升动态网络表征的有效性？

主要发现

• 动态网络嵌入在捕捉时间动态性方面显著优于静态方法，尤其在链接预测和节点分类等任务中表现突出。
• 基于Skip-Gram的模型（如DeepWalk和node2vec）通过建模随时间变化的节点序列，在动态网络中取得了优异性能。
• 基于自编码器的方法（如DANE和EOE）在保留演化网络中的结构和属性信息方面表现出色。
• 当前模型在可扩展性方面存在困难，尤其在大规模动态网络中，主要受限于高计算和内存开销。
• 异构和属性动态网络仍研究不足，缺乏能同时建模节点/边类型与时间变化的联合方法。
• 面向任务和多嵌入空间方法展现出潜力，但研究仍不充分，表明未来存在重大研究机遇。