[论文解读] Network Representation Learning: From Preprocessing, Feature Extraction to Node Embedding

Jingya Zhou, Ling Liu+2 more|arXiv (Cornell University)|Oct 14, 2021

Advanced Graph Neural Networks被引用 5

一句话总结

本文提出了一种统一的三阶段网络表征学习（NRL）框架，将该过程分解为预处理、特征提取和节点嵌入模型训练三个阶段。系统回顾了同构网络中前沿的NRL方法，强调了设计原则、技术方法以及可解释性与邻近性-可区分性权衡等开放性挑战。

ABSTRACT

Network representation learning (NRL) advances the conventional graph mining of social networks, knowledge graphs, and complex biomedical and physics information networks. Over dozens of network representation learning algorithms have been reported in the literature. Most of them focus on learning node embeddings for homogeneous networks, but they differ in the specific encoding schemes and specific types of node semantics captured and used for learning node embedding. This survey paper reviews the design principles and the different node embedding techniques for network representation learning over homogeneous networks. To facilitate the comparison of different node embedding algorithms, we introduce a unified reference framework to divide and generalize the node embedding learning process on a given network into preprocessing steps, node feature extraction steps and node embedding model training for a NRL task such as link prediction and node clustering. With this unifying reference framework, we highlight the representative methods, models, and techniques used at different stages of the node embedding model learning process. This survey not only helps researchers and practitioners to gain an in-depth understanding of different network representation learning techniques but also provides practical guidelines for designing and developing the next generation of network representation learning algorithms and systems.

研究动机与目标

• 提供同构网络网络表征学习（NRL）技术的全面、结构化综述。
• 解决缺乏标准化参考框架以比较多样化NRL算法的问题。
• 识别并分析NRL中的关键挑战，包括邻近性与可区分性之间的权衡、可解释性以及自动化学习问题。
• 指导研究人员和实践者理解端到端的NRL工作流程，并为下一代NRL系统的设计提供参考。
• 在统一的分类体系下整合分散的NRL方法，提升现有方法之间的清晰度与可比性。

提出的方法

• 提出一个三阶段参考框架：(1) 预处理，(2) 特征提取，(3) 节点嵌入模型训练。
• 根据网络结构操作对预处理技术进行分类，如采样、过滤和变换。
• 将特征提取方法划分为结构化、拓扑化和混合型方法，包括随机游走、图卷积和矩阵分解。
• 使用深度学习架构回顾节点嵌入模型，包括自编码器、GCNs和跳字模型。
• 采用NetMF作为统一模型，通过矩阵分解和图拉普拉斯矩阵将传统方法（如DeepWalk、LINE、node2vec）联系起来。
• 整合符号推理与逻辑编程（如溯因学习），以提升所学表征的可解释性。

Figure 1. An illustration of NRL and its deployment in example applications (Fan et al . , 2019 ; Wang et al . , 2019 ; Fout et al . , 2017 ; Han et al . , 2019 ; Fu et al . , 2020 ; Wei et al . , 2020 ) .

实验结果

研究问题

• RQ1 如何建立一个统一框架，以系统性地比较和分类多样化的网络表征学习方法？
• RQ2 在前沿NRL算法中，预处理、特征提取和嵌入模型设计的关键差异是什么？
• RQ3 不同NRL方法在所学嵌入中如何平衡邻近性保持与节点可区分性？
• RQ4 当前学习到的节点嵌入在可解释性方面存在哪些局限性，如何加以解决？
• RQ5 在推动下一代NRL系统发展方面，哪些未来方向最为关键？

主要发现

• 所提出的三阶段框架为理解与比较NRL方法提供了清晰、系统且可扩展的结构。
• 如节点采样和边过滤等预处理技术显著影响下游嵌入质量，尤其在具有高程度枢纽节点的无标度网络中。
• 随机游走（如DeepWalk）和图卷积（如GCN）等特征提取方法能有效捕捉局部与全局结构模式。
• 基于矩阵分解的模型（如NetMF）通过统一的数学公式将多种NRL算法（如DeepWalk、LINE、node2vec）整合在一起。
• 可解释性仍是主要开放挑战，极少有方法能提供关于为何某些嵌入表现优异的理论或机制性解释。
• 当前模型在邻近性（保持邻近关系）与可区分性（区分不同节点）之间的权衡仍未得到完全解决。

Figure 2. An example of a three-layer neural network used to realize network representation learning. (1) build corpus based on random walk ( $\gamma=4$ , $t=8$ , $\alpha=0$ ); (2) build training set based on sliding window ( $s=1$ ); (3) build vocabulary to store the set of nodes and their frequenc