[论文解读] Initialization for Network Embedding: A Graph Partition Approach

Wenqing Lin, Feng He+3 more|arXiv (Cornell University)|Aug 28, 2019

Advanced Graph Neural Networks参考文献 30被引用 4

一句话总结

本文提出GPA，一种基于图划分的网络嵌入初始化方法，可同时提升方法的有效性与效率。通过将输入图划分为不相交的子图，构建一个更小的抽象图，利用改进的skip-gram模型计算其嵌入，并将结果回传至原始节点，GPA在节点分类任务上性能最高提升8.74%，在所有数据集上训练时间至少减少20%。

ABSTRACT

Network embedding has been intensively studied in the literature and widely used in various applications, such as link prediction and node classification. While previous work focus on the design of new algorithms or are tailored for various problem settings, the discussion of initialization strategies in the learning process is often missed. In this work, we address this important issue of initialization for network embedding that could dramatically improve the performance of the algorithms on both effectiveness and efficiency. Specifically, we first exploit the graph partition technique that divides the graph into several disjoint subsets, and then construct an abstract graph based on the partitions. We obtain the initialization of the embedding for each node in the graph by computing the network embedding on the abstract graph, which is much smaller than the input graph, and then propagating the embedding among the nodes in the input graph. With extensive experiments on various datasets, we demonstrate that our initialization technique significantly improves the performance of the state-of-the-art algorithms on the evaluations of link prediction and node classification by up to 7.76% and 8.74% respectively. Besides, we show that the technique of initialization reduces the running time of the state-of-the-arts by at least 20%.

研究动机与目标

• 解决初始化对网络嵌入性能影响这一关键但常被忽视的问题。
• 克服以往初始化方法依赖局部粗化且无法保持全局图结构的局限性。
• 通过学习的回归模型减少网络嵌入算法中超参数调优的计算成本。
• 提升最先进网络嵌入算法的有效性（准确率）与效率（训练速度）。

提出的方法

• 应用图划分算法（如METIS）将输入图划分为不相交且边切割数较少的子图。
• 构建一个抽象图，其中每个划分作为一个节点，跨划分的边按其多重性加权。
• 使用改进的DeepWalk算法（支持加权随机游走）在抽象图上计算网络嵌入。
• 在预处理阶段训练一个回归模型，以预测嵌入算法的最优超参数（如游走长度、负样本数量）。
• 通过线性时间的消息传递机制，将抽象图的节点嵌入回传至原始图的节点。
• 将回传的嵌入作为下游网络嵌入算法的初始节点表示。

实验结果

研究问题

• RQ1 基于图划分的方法能否提升网络表征学习中初始节点嵌入的质量？
• RQ2 所提出的初始化方法在下游任务性能上与现有基线方法（如HARP、随机初始化）相比如何？
• RQ3 该方法在多大程度上减少了网络嵌入算法的训练时间？
• RQ4 学习的回归模型能否在无需穷举搜索的情况下，有效预测抽象图上网络嵌入的最优超参数？

主要发现

• 与最先进基线相比，GPA在链接预测任务上的性能最高提升7.76%。
• 在节点分类任务中，GPA在micro-F1分数上相较HARP最高提升8.74%。
• 该方法在所有评估数据集上训练时间至少减少20%，在Enron数据集上甚至达到33.33%的减少。
• 超参数调优的回归模型实现了快速、线性时间的配置，且不损失嵌入质量。
• 抽象图构建保留了关键的结构信息，优于会扭曲全局连通性的局部粗化方法。
• 该初始化策略可实现更快收敛与更优的最终嵌入，即使在LINE和DeepWalk等现有算法中亦表现优异。