[论文解读] HARP: Hierarchical Representation Learning for Networks

Haochen Chen, Bryan Perozzi+2 more|arXiv (Cornell University)|Jun 23, 2017

Advanced Graph Neural Networks被引用 127

一句话总结

HARP 引入多层图粗化范式来初始化嵌入，提升 DeepWalk、LINE 和 Node2vec 的嵌入，并在真实网络上将宏 F1 分数提升至多达 14%。

ABSTRACT

We present HARP, a novel method for learning low dimensional embeddings of a graph's nodes which preserves higher-order structural features. Our proposed method achieves this by compressing the input graph prior to embedding it, effectively avoiding troublesome embedding configurations (i.e. local minima) which can pose problems to non-convex optimization. HARP works by finding a smaller graph which approximates the global structure of its input. This simplified graph is used to learn a set of initial representations, which serve as good initializations for learning representations in the original, detailed graph. We inductively extend this idea, by decomposing a graph in a series of levels, and then embed the hierarchy of graphs from the coarsest one to the original graph. HARP is a general meta-strategy to improve all of the state-of-the-art neural algorithms for embedding graphs, including DeepWalk, LINE, and Node2vec. Indeed, we demonstrate that applying HARP's hierarchical paradigm yields improved implementations for all three of these methods, as evaluated on both classification tasks on real-world graphs such as DBLP, BlogCatalog, CiteSeer, and Arxiv, where we achieve a performance gain over the original implementations by up to 14% Macro F1.

研究动机与目标

• 动机：为大规模网络进行图表示学习，以及局部、非凸嵌入方法的局限性。
• 提出一种多层次粗化范式（HARP），以保留全局图结构并为嵌入提供良好的初始值。
• 证明 HARP 能在多个真实世界数据集上改进现有嵌入方法。
• 展示粗化开销是适度的，并且可扩展到大规模图。

提出的方法

• 引入一个三部分的 HARP 框架：图粗化以建立层次结构，在最粗的图上进行嵌入，并通过延展（prolongation）在更细的层次进行细化。
• 使用混合粗化方案，结合边塌缩（保留一阶邻接性）和星塌缩（保留二阶邻接性）以形成 G0, G1, ..., GL。
• 在最粗图上应用嵌入算法 Embed()，并迭代地将嵌入从 GL 延展并从而从 G L 细化至 G0。
• 通过重用父节点表示并在 Embed() 过程中通过梯度步更新，将嵌入从更细的图延展到更粗的图。
• 保持算法无关性：HARP 可以包裹任何现有的图嵌入方法（DW、LINE、Node2vec）并提升其性能。
• 分析时间复杂度，表明 HARP 相对于基础嵌入方法的开销可以忽略不计。

实验结果

研究问题

• RQ1 多层次粗化方法是否能捕捉全局图结构以改进节点嵌入？
• RQ2 分层初始化是否有助于嵌入方法避免糟糕的局部极小值并提升下游任务？
• RQ3 HARP 能否作为一种通用的元策略来提升现有的图嵌入算法？
• RQ4 在真实网络上将 HARP 与 DW、LINE 和 Node2vec 结合时的经验收益是什么？

主要发现

• HARP 在 DBLP、BlogCatalog 和 CiteSeer 数据集上提升了宏观 F1 分数，相对于基线方法。
• 在 DBLP 上，DW 从 57.29 提升到 61.76 (+7.8%)，LINE 从 57.76 提升到 59.51 (+3.0%)，Node2vec 从 62.64 提升到 62.80 (+0.3%)。
• 在 BlogCatalog 上，DW 从 24.88 提升到 25.90 (+4.0%)，LINE 从 22.43 提升到 23.47 (+4.6%)，Node2vec 从 23.55 提升到 24.66 (+4.7%)。
• 在 CiteSeer 上，DW 从 42.72 提升到 44.78 (+4.8%)，LINE 从 37.11 提升到 42.95 (+13.6%)，Node2vec 从 44.84 提升到 46.08 (+2.8%)。
• 总体而言，HARP 在多项任务中带来最高达 14% 的 Macro F1 提升。
• HARP 的运行时开销通常低于 10%，并随图规模线性扩展。