[论文解读] dynnode2vec: Scalable Dynamic Network Embedding

Sedigheh Mahdavi, Shima Khoshraftar+1 more|arXiv (Cornell University)|Dec 6, 2018

Advanced Graph Neural Networks参考文献 20被引用 5

一句话总结

该论文提出 dynnode2vec，一种可扩展的动态网络嵌入方法，通过使用演化随机游走并利用先前嵌入初始化 Skip-gram 模型，扩展了 node2vec，以高效捕捉大规模动态网络中的时序变化。该方法在真实世界数据集上的链接预测、节点分类和异常检测任务中保持了具有竞争力的性能，同时实现了显著的加速——相比 node2vec 最快可提升 5 倍。

ABSTRACT

Network representation learning in low dimensional vector space has attracted considerable attention in both academic and industrial domains. Most real-world networks are dynamic with addition/deletion of nodes and edges. The existing graph embedding methods are designed for static networks and they cannot capture evolving patterns in a large dynamic network. In this paper, we propose a dynamic embedding method, dynnode2vec, based on the well-known graph embedding method node2vec. Node2vec is a random walk based embedding method for static networks. Applying static network embedding in dynamic settings has two crucial problems: 1) Generating random walks for every time step is time consuming 2) Embedding vector spaces in each timestamp are different. In order to tackle these challenges, dynnode2vec uses evolving random walks and initializes the current graph embedding with previous embedding vectors. We demonstrate the advantages of the proposed dynamic network embedding by conducting empirical evaluations on several large dynamic network datasets.

研究动机与目标

• 解决静态图嵌入方法在捕捉随时间演化的网络结构方面的局限性。
• 克服在动态网络中每个时间戳重新训练嵌入所导致的高计算成本。
• 通过仅聚焦于连续时间戳之间发生改变的节点来减少运行时间。
• 通过使用前一时刻的嵌入向量初始化 Skip-gram 模型，保持跨时间的一致性。
• 在链接预测、节点分类和异常检测等动态网络任务中展示优越性能。

提出的方法

• 仅对在连续时间戳之间因结构变化（新增、删除或权重变化）而受影响的节点生成演化随机游走。
• 在每个时间戳使用前一时刻的嵌入向量初始化 Skip-gram 模型，以确保平滑的时序表示学习。
• 利用受动态词嵌入启发的动态 Skip-gram 模型架构，实现节点表示的增量更新。
• 采用两阶段流程：首先在初始图 $G_1$ 上使用标准 node2vec 进行训练，然后对 $G_2$ 到 $G_T$ 逐步更新嵌入，结合演化游走和权重迁移。
• 将演化节点定义为 $\Delta V_t = V_{\text{add}} \cup \{v_i \in V_t \mid \exists e_i = (v_i, v_j) \in (E_{\text{add}} \cup E_{\text{del}})\}$，将游走生成限制在此子集中。
• 仅更新演化节点及其邻居的嵌入，从而在保持表示质量的同时最小化计算开销。

实验结果

研究问题

• RQ1 动态网络嵌入方法是否可通过仅聚焦于演化节点的随机游走减少训练时间？
• RQ2 使用先前嵌入初始化 Skip-gram 模型对动态节点表示的质量和一致性有何影响？
• RQ3 dynnode2vec 在链接预测、节点分类和异常检测任务中，相对于静态方法和现有动态基线方法的性能优势有多大？
• RQ4 演化随机游走与迁移学习如何协同提升可扩展性而不损失嵌入准确性？
• RQ5 dynnode2vec 是否能通过测量嵌入向量范数随时间的变化来检测动态网络中的结构异常？

主要发现

• 在 AS 数据集上，dynnode2vec 的运行时间相比标准 node2vec 最多减少 5.2 倍，50 个时间步的运行时间从 23.22 分钟降至 4.49 分钟。
• 在 Hep-th 数据集上，dynnode2vec 仅需 1.25 分钟，而 dynnode2vec-all 需 13.52 分钟，实现 10.8 倍加速。
• 在链接预测任务中，dynnode2vec 在 AS 数据集上 AUC 达到 0.9625，与 dynnode2vec-all（0.9799）相比损失极小，表明计算减少的同时精度保持良好。
• 在 DBLP 数据集的节点分类任务中，dynnode2vec 的 Micro-F1 得分为 0.5415，优于 DeepWalk（0.5337）和 node2vec（0.5272）。
• 在 DARPA 数据集的异常检测中，dynnode2vec 检测到三次嵌入范数差异的显著峰值，与已知攻击事件完全对应，证实其对结构变化的高度敏感性。
• 该方法在各类任务中均保持高性能：链接预测的 AUC 分别为 0.9975（Hep-th）、0.9012（Enron）和 0.8886（St-Ov），表明其在多样化数据集上的鲁棒性。