[论文解读] DynGEM: Deep Embedding Method for Dynamic Graphs

Palash Goyal, Nitin Kamra+2 more|arXiv (Cornell University)|May 29, 2018

Advanced Graph Neural Networks参考文献 22被引用 288

一句话总结

DynGEM 是一种动态图嵌入方法，使用深度自编码器和层扩展启发式，能够在增长的图上增量学习稳定、可扩展的节点嵌入，在重构、连边预测和稳定性方面超过静态基线。

ABSTRACT

Embedding large graphs in low dimensional spaces has recently attracted significant interest due to its wide applications such as graph visualization, link prediction and node classification. Existing methods focus on computing the embedding for static graphs. However, many graphs in practical applications are dynamic and evolve constantly over time. Naively applying existing embedding algorithms to each snapshot of dynamic graphs independently usually leads to unsatisfactory performance in terms of stability, flexibility and efficiency. In this work, we present an efficient algorithm DynGEM based on recent advances in deep autoencoders for graph embeddings, to address this problem. The major advantages of DynGEM include: (1) the embedding is stable over time, (2) it can handle growing dynamic graphs, and (3) it has better running time than using static embedding methods on each snapshot of a dynamic graph. We test DynGEM on a variety of tasks including graph visualization, graph reconstruction, link prediction and anomaly detection (on both synthetic and real datasets). Experimental results demonstrate the superior stability and scalability of our approach.

研究动机与目标

• 推动对动态、增长图的稳定嵌入，以用于下游任务，如可视化、连边预测和异常检测。
• 开发一个可扩展的深度自编码器框架，通过重复使用先前的嵌入在不同时间步增量训练。
• 通过在保持先前权重的同时动态扩展网络架构来实现对增长的处理。
• 引入稳定性指标以量化随时间的嵌入一致性，并与基线进行比较。

提出的方法

• 使用深度自编码器将节点邻域映射到低维嵌入（第一阶和第二阶近邻）。
• 在时间 t 使用时间 t-1 的嵌入进行初始化，以促使时间稳定性。
• 使用 PropSize 启发式来确定新层的大小，并通过 Net2WiderNet/Net2DeeperNet 来扩展网络以处理增长的图。
• 使用损失 L_net = L_glob + α L_loc + ν1 L1 + ν2 L2 进行训练，在重构和邻近目标之间取得平衡。
• 采用 ReLU 激活以提升可扩展性和训练速度，结合 Nesterov 动量和正则化以防止过拟合。
• 使用定义的稳定性常数来评估稳定性，并将可扩展性与静态基线进行比较。

实验结果

研究问题

• RQ1 Can DynGEM provide stable embeddings over time for dynamic, growing graphs?
• RQ2 Does reusing previous time-step embeddings improve training efficiency and scalability?
• RQ3 How does DynGEM perform on graph reconstruction and link prediction compared to static embeddings and GF-based baselines?
• RQ4 Is the method useful for visualization and anomaly detection in dynamic networks?

主要发现

• DynGEM 在 SYN、ENRON 和 AS 数据集上实现高的图重构 MAP，例如 DynGEM 的 MAP：SYN 0.987，ENRON 0.424；DynGEM 常常超越基于 GF 的基线，在若干数据集上与 SDNE 相当或优于之。
• DynGEM 显著提升跨数据集的连边预测 MAP（如：SYN 0.194，HEP-TH 0.26，AS 0.21，ENRON 0.084）。
• 稳定性：DynGEM 的稳定性常数显著低于基于 SDNE 的基线（例如：SYN 0.008 对 SDNE 0.18，HEP-TH 1.469 对 SDNE 14.715，AS 0.125 对 6.25，ENRON 1.279 对 19.722）。
• 通过 PropSize 的层扩展结合 Net2WiderNet/Net2DeeperNet 的层扩展比固定架构获得更好性能（HEP-TH：重构 MAP 从 0.46 提升到 0.491，连边预测从 0.19 提升到 0.26）。
• DynGEM 相对于与 SDNE 相符的基线在所有数据集上实现 2-3 倍的加速，并且在更长的时间序列（显示 T=40）时仍然具有良好扩展性。
• DynGEM 实现了动态图嵌入的可视化和异常检测（例如 Enron 的多周出现尖峰与已知事件对应；嵌入的变化量 Δt 能检测异常）。