[论文解读] Learning Topological Representation for Networks via Hierarchical Sampling

Guoji Fu, Chengbin Hou+1 more|arXiv (Cornell University)|Feb 15, 2019

Complex Network Analysis Techniques参考文献 26被引用 9

一句话总结

本文提出HSRL，一种新颖的网络表示学习框架，通过采用社区感知的分层采样策略递归压缩网络，从而捕捉局部与全局拓扑信息。通过在多个压缩后的网络层级上学习节点嵌入并进行拼接，HSRL在五个真实世界数据集上的链接预测任务中显著优于当前最先进方法，且提升具有统计显著性，尤其在大规模网络上表现突出。

ABSTRACT

The topological information is essential for studying the relationship between nodes in a network. Recently, Network Representation Learning (NRL), which projects a network into a low-dimensional vector space, has been shown their advantages in analyzing large-scale networks. However, most existing NRL methods are designed to preserve the local topology of a network, they fail to capture the global topology. To tackle this issue, we propose a new NRL framework, named HSRL, to help existing NRL methods capture both the local and global topological information of a network. Specifically, HSRL recursively compresses an input network into a series of smaller networks using a community-awareness compressing strategy. Then, an existing NRL method is used to learn node embeddings for each compressed network. Finally, the node embeddings of the input network are obtained by concatenating the node embeddings from all compressed networks. Empirical studies for link prediction on five real-world datasets demonstrate the advantages of HSRL over state-of-the-art methods.

研究动机与目标

• 为解决现有NRL方法仅关注局部拓扑、在大规模网络中无法保留全局结构关系的局限性。
• 克服HARP中网络压缩策略不佳的问题，该问题可能误导优化过程并导致陷入较差的局部极小值。
• 开发一种社区感知的分层压缩方法，以在多个网络层级上同时保留局部与全局拓扑信息。
• 证明将多个压缩网络层级上的节点嵌入进行拼接，可在下游任务（如链接预测）中取得更优性能。

提出的方法

• HSRL利用社区感知的采样策略，将输入网络递归压缩为一系列更小的网络，形成分层结构。
• 在每一级压缩中，应用现有的NRL方法（例如DeepWalk、node2vec、LINE）来学习压缩后网络的节点嵌入。
• 通过拼接原始节点在所有压缩网络层级上的嵌入，获得其最终的节点嵌入表示。
• 分层压缩策略确保了在各层级上既保留了局部邻域结构，也保留了长程的全局关系。
• 该框架在数学上被证明可显式地将局部与全局拓扑信息嵌入最终的节点表示中。
• 该方法兼容任何现有的NRL算法，支持与当前最先进嵌入模型的即插即用式集成。

实验结果

研究问题

• RQ1 一种保留社区结构的分层压缩策略，是否能提升网络表示学习中对全局拓扑信息的捕捉能力？
• RQ2 将多个压缩网络层级上的节点嵌入进行拼接，是否能在链接预测任务中取得优于单层级嵌入的性能？
• RQ3 在链接预测准确率方面，HSRL与DeepWalk、node2vec、LINE和HARP等当前最先进NRL方法相比表现如何？
• RQ4 HSRL在非凸优化设置下，多大程度上降低了收敛到较差局部极小值的风险？
• RQ5 HSRL的性能对超参数（如嵌入维度和压缩层级数）的敏感程度如何？

主要发现

• 在五个真实世界数据集上，HSRL在链接预测任务中显著优于DeepWalk、node2vec、LINE和HARP，Wilcoxon符号秩检验的p值均小于0.05。
• 在Douban数据集上，HSRL相较于最佳基线（DeepWalk）实现了18.4%的相对性能提升，表明其在大规模网络上具有显著优势。
• 在DBLP数据集上，使用DeepWalk作为基础方法时，HSRL相比最佳基线提升了6.3%；而使用node2vec时，性能提升达19.9%，表明其在不同NRL方法下均表现稳健。
• 在Yelp数据集上，使用node2vec时，HSRL实现了30.5%的相对性能提升，凸显其在稀疏或复杂网络中的高效性。
• 当压缩层级数K超过3时，HSRL的性能趋于稳定，表明在大多数网络中，三个层级已足够捕捉分层结构。
• HSRL的运行时间最多仅为基线方法的三倍，且随输入规模线性增长，通过并行化可进一步提升速度。