[论文解读] DyGCN: Dynamic Graph Embedding with Graph Convolutional Network

Zeyu Cui, Zekun Li+5 more|arXiv (Cornell University)|Apr 7, 2021

Advanced Graph Neural Networks参考文献 48被引用 10

一句话总结

本文提出 DyGCN，一种动态图卷积网络，通过分层、按影响顺序的方式在图中传播变化，从而高效地更新演化图中的节点嵌入。通过按影响程度顺序更新节点——从直接受影响的节点开始，逐步向外传播变化——DyGCN 在每个时间步均显著提升了相对于重新训练静态 GCN 模型的速度，同时在动态图基准测试中保持了高性能。

ABSTRACT

Graph embedding, aiming to learn low-dimensional representations (aka. embeddings) of nodes, has received significant attention recently. Recent years have witnessed a surge of efforts made on static graphs, among which Graph Convolutional Network (GCN) has emerged as an effective class of models. However, these methods mainly focus on the static graph embedding. In this work, we propose an efficient dynamic graph embedding approach, Dynamic Graph Convolutional Network (DyGCN), which is an extension of GCN-based methods. We naturally generalizes the embedding propagation scheme of GCN to dynamic setting in an efficient manner, which is to propagate the change along the graph to update node embeddings. The most affected nodes are first updated, and then their changes are propagated to the further nodes and leads to their update. Extensive experiments conducted on various dynamic graphs demonstrate that our model can update the node embeddings in a time-saving and performance-preserving way.

研究动机与目标

• 解决在动态图中每个时间步重新训练静态 GCN 模型的低效问题。
• 开发一种可扩展的方法，以增量方式在图随时间演化时更新节点嵌入。
• 在动态图设置中，在最小化计算成本的同时保持嵌入质量。
• 通过结构化的变更传播，将 GCN 嵌入传播机制推广至动态图。
• 证明基于局部变化的增量更新可实现与完整重训相当的性能。

提出的方法

• 提出一种高阶更新机制，按影响顺序处理节点变化：1阶（直接受影响）、2阶（受影响节点的邻居）等。
• 引入谱传播作为替代更新策略，利用图的谱特性实现高效的嵌入更新。
• 采用递归消息传递机制，使变化从高影响力节点以级联方式传播至其邻居。
• 在时间步之间保持共享的嵌入参数，仅使用可微更新规则更新受影响的节点及其邻居。
• 为每阶传播引入可学习变换矩阵 $W_k$，以建模多跳传播中变化的影响。
• 使用反向传播进行端到端训练，每个时间步优化损失函数以保留结构和语义信息。

实验结果

研究问题

• RQ1 我们能否在不完全重训 GCN 模型的情况下，高效地更新动态图中的节点嵌入？
• RQ2 按影响顺序的分层变更传播如何影响嵌入质量和计算效率？
• RQ3 不同更新策略（高阶更新与谱传播）对性能和可扩展性有何影响？
• RQ4 不同图类型和更新事件中，受影响节点的数量及其传播深度如何变化？
• RQ5 与静态 GCN 重训相比，该模型能否在显著减少更新时间的同时，保持下游任务（如节点分类）的高性能？

主要发现

• 与每个时间步重新训练静态 GCN 相比，DyGCN 将更新时间减少了高达 90%，且性能下降可忽略。
• 在所有数据集（AS、HEP-TH、Facebook）上，2阶 DyGCN 表现最佳，优于 1 阶和 3 阶变体。
• 在 AS 数据集中，当 $d=100$ 时 DyGCN 达到最高性能，而更高维度（$d=125$）则导致过拟合。
• 可视化显示，$W_1$ 和 $W_2$ 学习到明显且高权重的模式，而 $W_3$ 和 $W_4$ 的权重较低且无明显结构，表明超过 2 阶后学习能力有限。
• 在密集图（如 HEP-TH）中，2 阶更新使 2 阶节点的嵌入更接近；而在稀疏图（如 AS）中，影响更局部化。
• 在 Facebook 中，1 阶更新受影响的节点数量最多（平均 1637.69 个），表明大规模网络对边添加高度敏感。