[论文解读] GraphZoom: A multi-level spectral approach for accurate and scalable graph embedding

Chenhui Deng, Zhiqiang Zhao+3 more|arXiv (Cornell University)|Oct 6, 2019

Advanced Graph Neural Networks参考文献 29被引用 55

一句话总结

GraphZoom 引入一个四阶段、多层次的框架，将节点属性与拓扑融合，对图进行谱粗化，在最粗层次应用标准的无监督嵌入，并通过图过滤对嵌入进行细化以提高准确性和可扩展性。

ABSTRACT

Graph embedding techniques have been increasingly deployed in a multitude of different applications that involve learning on non-Euclidean data. However, existing graph embedding models either fail to incorporate node attribute information during training or suffer from node attribute noise, which compromises the accuracy. Moreover, very few of them scale to large graphs due to their high computational complexity and memory usage. In this paper we propose GraphZoom, a multi-level framework for improving both accuracy and scalability of unsupervised graph embedding algorithms. GraphZoom first performs graph fusion to generate a new graph that effectively encodes the topology of the original graph and the node attribute information. This fused graph is then repeatedly coarsened into much smaller graphs by merging nodes with high spectral similarities. GraphZoom allows any existing embedding methods to be applied to the coarsened graph, before it progressively refine the embeddings obtained at the coarsest level to increasingly finer graphs. We have evaluated our approach on a number of popular graph datasets for both transductive and inductive tasks. Our experiments show that GraphZoom can substantially increase the classification accuracy and significantly accelerate the entire graph embedding process by up to 40.8x, when compared to the state-of-the-art unsupervised embedding methods.

研究动机与目标

• 激发并解决图嵌入中嵌入准确性与可扩展性之间的权衡。
• 提出一个统一的多层次框架，在粗化过程中保持光谱性质。
• 在粗化框架内实现对任意无监督嵌入方法的即插即用（plug-and-play）支持。
• 通过基于图过滤的细化阶段来提升嵌入质量。
• 在保持或提升准确性的同时证明对大规模图的可扩展性。

提出的方法

• 阶段1：图融合通过将拓扑与由节点特征基于余弦相似度构建的 kNN 属性图相结合，生成一个融合后的邻接矩阵，融合权重 beta 控制。
• 阶段2 谱粗化使用局部谱嵌入和谱节点亲和度量构建一系列粗化图的层级，将谱相近的节点合并，保持前几个拉普拉斯特征向量；粗化采用线性时间聚合方案，并可选使用 GRASS 谱稀疏化以控制密度。
• 阶段3 图嵌入将任意现有的无监督嵌入方法应用于最粗层图，以获得初始嵌入。
• 阶段4 嵌入细化通过投影算子将粗层嵌入映射到更细的图，并应用低通图滤波器（用 (I-L)^k 近似）来平滑嵌入，迭代以恢复原始图的嵌入。

实验结果

研究问题

• RQ1 多层次谱方法是否能够协同提升无监督图嵌入的嵌入准确性和可扩展性？
• RQ2 在融合图中将节点属性与拓扑融合是否能提升嵌入质量，相较于仅使用拓扑的方法？
• RQ3 谱粗化在保留后续嵌入所需的关键图结构方面有多有效？
• RQ4 无需额外模型训练的非训练、基于图过滤的细化阶段是否能对最终嵌入产生显著改进？
• RQ5 GraphZoom 是否对底层嵌入核无关且可扩展到极大规模的图？

主要发现

• GraphZoom 在传导和归纳任务中比基线无监督方法获得更高的嵌入准确性，相对提升最高达 19.4%。
• 相较于最先进方法，GraphZoom 在标准基准上可将嵌入过程加速多达 40.8 倍。
• 在大规模 Friendster 数据上，GraphZoom 提供最高 49.9% 的 Micro-F1 提升，并比基线快 119.8 倍。
• 细化阶段通过高效的稀疏矩阵乘法和图滤波来工作，避免昂贵的求逆并降低高频噪声。
• GraphZoom高度可组合且对底层嵌入核无关，当与 DeepWalk、node2vec、DGI 或 GraphSAGE 配对时，提升了准确性和速度。
• 消融分析指出细化核（图过滤）显著提高结果，尤其在更大尺度粗化时效果更明显。