[论文解读] Efficient Representation Learning Using Random Walks for Dynamic Graphs

Hooman Peiro Sajjad, Andrew Docherty+1 more|arXiv (Cornell University)|Jan 5, 2019

Advanced Graph Neural Networks参考文献 30被引用 22

一句话总结

本文提出了一种基于随机游走的高效增量算法，用于动态图中的顶点表示学习。通过追踪受影响的顶点和游走路径，无偏更新与增量方法能够以与图变化速率成比例的复杂度，高效地维持统计上有效的嵌入表示，实现最先进性能的同时，显著快于从头训练。

ABSTRACT

An important part of many machine learning workflows on graphs is vertex representation learning, i.e., learning a low-dimensional vector representation for each vertex in the graph. Recently, several powerful techniques for unsupervised representation learning have been demonstrated to give the state-of-the-art performance in downstream tasks such as vertex classification and edge prediction. These techniques rely on random walks performed on the graph in order to capture its structural properties. These structural properties are then encoded in the vector representation space. However, most contemporary representation learning methods only apply to static graphs while real-world graphs are often dynamic and change over time. Static representation learning methods are not able to update the vector representations when the graph changes; therefore, they must re-generate the vector representations on an updated static snapshot of the graph regardless of the extent of the change in the graph. In this work, we propose computationally efficient algorithms for vertex representation learning that extend random walk based methods to dynamic graphs. The computation complexity of our algorithms depends upon the extent and rate of changes (the number of edges changed per update) and on the density of the graph. We empirically evaluate our algorithms on real world datasets for downstream machine learning tasks of multi-class and multi-label vertex classification. The results show that our algorithms can achieve competitive results to the state-of-the-art methods while being computationally efficient.

研究动机与目标

• 解决静态表示学习方法在随时间演化的动态图上应用时效率低下的问题。
• 开发一种增量方法，在每次图更新后无需从头重新训练，即可更新顶点嵌入。
• 确保在图结构发生变化后，更新后的随机游走仍能保持对图结构的统计代表性。
• 通过使计算成本依赖于图变化的程度与频率，而非整个图的规模，从而降低计算开销。

提出的方法

• 引入‘受影响顶点’和‘受影响游走’的概念，识别现有随机游走中因图更新而失效的部分。
• 提出无偏更新算法，通过基于当前图结构用新段替换过时段落，增量式地修改现有随机游走。
• 设计增量算法，利用新生成的随机游走更新顶点表示，保持与静态基线方法的一致性。
• 采用一种采样策略，优先选择涉及受影响顶点的游走，以最小化不必要的重新计算。
• 通过静态算法的完整重新计算结果，确保更新后游走与原始游走的统计等价性。
• 利用随机游走与跳字模型之间的联系，采用负采样跳字模型（SGNS）增量式训练嵌入。

实验结果

研究问题

• RQ1 能否在无需完整重新训练的情况下，高效地更新动态图中基于随机游走的表示学习？
• RQ2 在增量更新过程中，如何保持随机游走的统计有效性？
• RQ3 与图变化的程度相比，增量嵌入更新的计算复杂度如何？
• RQ4 在下游任务（如顶点分类）中，增量方法与静态基线方法相比表现如何？
• RQ5 增量更新能否在降低计算成本的同时，保持与最先进方法相当的性能？

主要发现

• 无偏更新算法生成的随机游走与静态算法生成的结果在统计上无法区分，确保了表示质量。
• 增量算法在多分类和多标签顶点分类任务中表现具有竞争力，在真实世界数据集上与或超过静态基线方法。
• 在Cora和CoCit数据集上，朴素更新算法的性能略低于静态方法，表明简单增量更新存在局限性。
• 所提方法的计算成本与每次更新中变化的边数成正比，因此在变化率较低或中等的图中具有高效性。
• 实验结果表明，在不同规模的训练数据下性能稳定，体现出增量方法的鲁棒性与可靠性。