[论文解读] MILE: A Multi-Level Framework for Scalable Graph Embedding

Jiongqian Liang, Saket Gurukar+1 more|arXiv (Cornell University)|Feb 26, 2018

Advanced Graph Neural Networks参考文献 38被引用 27

一句话总结

MILE 提出了一种多级框架，通过粗化大规模图来加速图嵌入，先在最粗层级应用基础嵌入方法，再通过共享的 GCN 模型对嵌入进行细化。该方法在计算复杂度降低和高效参数共享的共同作用下，实现了显著的加速效果，且质量损失极小，尤其在结合超参数调优时效果更佳。

ABSTRACT

Recently there has been a surge of interest in designing graph embedding methods. Few, if any, can scale to a large-sized graph with millions of nodes due to both computational complexity and memory requirements. In this paper, we relax this limitation by introducing the MultI-Level Embedding (MILE) framework -- a generic methodology allowing contemporary graph embedding methods to scale to large graphs. MILE repeatedly coarsens the graph into smaller ones using a hybrid matching technique to maintain the backbone structure of the graph. It then applies existing embedding methods on the coarsest graph and refines the embeddings to the original graph through a graph convolution neural network that it learns. The proposed MILE framework is agnostic to the underlying graph embedding techniques and can be applied to many existing graph embedding methods without modifying them. We employ our framework on several popular graph embedding techniques and conduct embedding for real-world graphs. Experimental results on five large-scale datasets demonstrate that MILE significantly boosts the speed (order of magnitude) of graph embedding while generating embeddings of better quality, for the task of node classification. MILE can comfortably scale to a graph with 9 million nodes and 40 million edges, on which existing methods run out of memory or take too long to compute on a modern workstation. Our code and data are publicly available with detailed instructions for adding new base embedding methods: \url{https://github.com/jiongqian/MILE}.

研究动机与目标

• 解决大规模图嵌入方法的高计算成本问题。
• 使现有图嵌入算法在超大规模图上实现高效训练与推理。
• 通过分层粗化与细化，降低时间复杂度，同时保持嵌入质量。
• 支持多种基础嵌入方法，包括 DeepWalk、Node2Vec、LINE 和 NetMF。
• 通过对称化与拉普拉斯相关方法，将图嵌入扩展至有向图。

提出的方法

• 使用结构等价匹配（SEM）对输入图进行分层粗化，逐级减少顶点与边的数量。
• 在最粗图上应用选定的基础嵌入方法，利用其尺寸减小实现更快计算。
• 通过共享的 GCN 模型在各层级间进行嵌入细化，利用层间参数共享以保持效率。
• 使用稀疏矩阵乘法高效实现 GCN 消息传递机制中的嵌入传播：$ H^{(k)}(X,A) = \sigma\left(\tilde{D}^{-\frac{1}{2}}\tilde{A}\tilde{D}^{-\frac{1}{2}}H^{(k-1)}(X,A)\Theta^{(k)}\right) $。
• 在所有层级间共享滤波器参数 $ \Theta^{(k)} $，避免每级训练的开销，实现效率与性能的平衡。
• 使用现有技术对有向图进行对称化处理，使 MILE 框架内可应用对称嵌入方法。

实验结果

研究问题

• RQ1 分层粗化是否能显著降低图嵌入的时间复杂度，同时保持嵌入质量？
• RQ2 在粗化层级间共享参数在保持嵌入性能的同时，是否能以极低计算成本实现？
• RQ3 MILE 在结合超参数调优时，对嵌入流水线的加速程度如何？
• RQ4 MILE 在多种基础嵌入方法（如 DeepWalk、Node2Vec、LINE 和 NetMF）上泛化能力如何？
• RQ5 能否通过有向图对称化与基于拉普拉斯的粗化方法，有效将 MILE 扩展至有向图？

主要发现

• MILE 将基础嵌入算法的时间复杂度从 $ T(V,E) $ 降低至 $ T\left(\frac{V}{\alpha^m}, \frac{E}{\beta^m}\right) + O(k \cdot E) $，其中 $ \alpha, \beta \in [1.5, 2.0] $，实现显著加速。
• 细化阶段仅引入与 $ E $ 线性相关的开销，且常数 $ k $ 较小（通常在十位数范围内），使总成本远低于原始算法。
• 在所有层级间共享 $ \Theta^{(k)} $ 能生成高质量嵌入，且远优于随机初始化，如消融实验所示（例如 MILE-untr 基线）。
• 该框架使原本在大规模图上不可行的方法（如 NetMF 和 GraRep）得以运行，通过粗化显著降低了内存与时间需求。
• SEM 识别出 5–20% 的节点为结构等价节点，其中 YouTube 图中占比高达 15%，Yelp 图中达 10%，支持大规模有效粗化。
• 当用于超参数调优流水线时，该框架能显著放大运行时间节省效果，因为重复运行可受益于复杂度中常数因子的降低。