[论文解读] DynWalks: Global Topology and Recent Changes Awareness Dynamic Network Embedding

Chengbin Hou, Han Zhang+2 more|arXiv (Cornell University)|Jul 27, 2019

Advanced Graph Neural Networks参考文献 19被引用 4

一句话总结

DynWalks 提出了一种在线动态网络嵌入方法，通过自适应节点选择方案和高效的在线学习框架，在全局拓扑保持与近期结构变化之间实现平衡。该方法在图重构和链接预测任务中达到最先进性能，同时与现有方法相比显著减少了实际运行时间。

ABSTRACT

Learning topological representation of a network in dynamic environments has recently attracted considerable attention due to the time-evolving nature of many real-world networks i.e. nodes/links might be added/removed as time goes on. Dynamic network embedding aims to learn low dimensional embeddings for unseen and seen nodes by using any currently available snapshots of a dynamic network. For seen nodes, the existing methods either treat them equally important or focus on the $k$ most affected nodes at each time step. However, the former solution is time-consuming, and the later solution that relies on incoming changes may lose the global topology---an important feature for downstream tasks. To address these challenges, we propose a dynamic network embedding method called DynWalks, which includes two key components: 1) An online network embedding framework that can dynamically and efficiently learn embeddings based on the selected nodes; 2) A novel online node selecting scheme that offers the flexible choices to balance global topology and recent changes, as well as to fulfill the real-time constraint if needed. The empirical studies on six real-world dynamic networks under three different slicing ways show that DynWalks significantly outperforms the state-of-the-art methods in graph reconstruction tasks, and obtains comparable results in link prediction tasks. Furthermore, the wall-clock time and complexity analysis demonstrate its excellent time and space efficiency. The source code of DynWalks is available at https://github.com/houchengbin/DynWalks

研究动机与目标

• 解决现有动态网络嵌入方法中存在的高计算复杂度和全局拓扑保持能力差的问题。
• 在严格的时间约束下，实现在大规模动态网络中的实时学习。
• 开发一种灵活的节点选择策略，平衡对全局网络结构和局部变化的关注。
• 在不进行完整重训练的情况下，保持随时间演化的快照中嵌入质量的稳定性。
• 实现高效率与可扩展性，以支持在真实世界动态网络中的在线部署。

提出的方法

• DynWalks 采用基于改进 DeepWalk 的在线网络嵌入框架，通过在每个时间步仅使用选定节点增量更新嵌入。
• 它引入了一种新颖的节点选择方案，根据节点对全局拓扑和近期变化的影响程度进行优先排序，受超参数 α 和 β 控制。
• 该方法使用前一时间步（t−1）的嵌入作为当前时间步（t）的初始化，提升收敛速度与稳定性。
• 框架基于拓扑敏感度和变化影响，动态选择网络中的一小部分节点（通常为网络的 α 分数），作为更新对象。
• 通过 β 控制全局结构感知能力，通过 α 控制对近期变化的响应能力，实现准确率与速度之间的权衡。
• 该方法通过仅关注受影响节点并利用增量优化，避免了完整重训练。

实验结果

研究问题

• RQ1 如何使动态网络嵌入足够高效，以满足大规模演化网络中的实时约束？
• RQ2 动态嵌入方法在响应局部变化的同时，能在多大程度上保持网络的全局拓扑？
• RQ3 选择性节点更新策略是否能在准确率与效率两方面优于全网重训练？
• RQ4 全局拓扑感知与对近期变化响应之间的平衡如何影响下游任务性能？
• RQ5 使用前一时刻嵌入作为初始化对收敛速度与稳定性有何影响？

主要发现

• 在六种真实世界动态网络中，采用三种切片策略，DynWalks 在图重构任务中显著优于最先进方法。
• 在链接预测任务中，其性能与 SOTA 方法相当，并随着网络随时间增长而逐步提升。
• 与 BCGD 和 DynGEM 相比，实际运行时间最多减少 90%，在大型网络上每步在线阶段时间降至 4 秒以下。
• 敏感性分析表明，当 α 超过 0.6 时，性能趋于饱和或略有下降，表明存在节点选择的最优平衡点。
• 使用 t−1 嵌入作为初始化有助于长期保持稳定性能，尤其在图重构任务中表现显著。
• 即使在 100 个时间步后，该方法仍保持可扩展性与高效性，性能下降微乎其微，时间效率表现强劲。