[论文解读] On Proximity and Structural Role-based Embeddings in Networks: Misconceptions, Techniques, and Applications

Ryan A. Rossi, Di Jin+4 more|arXiv (Cornell University)|Aug 22, 2019

Advanced Graph Neural Networks参考文献 129被引用 10

一句话总结

本文明确定义了基于社区（基于邻近性驱动）与基于角色（基于结构相似性驱动）的网络嵌入之间的根本区别，形式化了随机游走和特征传播等机制如何催生此类表示。理论证明这些机制会分别导致基于社区或基于角色的表示，从而提供一个框架，用于识别、分析并开发适用于特定应用的更优嵌入方法。

ABSTRACT

Structural roles define sets of structurally similar nodes that are more similar to nodes inside the set than outside, whereas communities define sets of nodes with more connections inside the set than outside. Roles based on structural similarity and communities based on proximity are fundamentally different but important complementary notions. Recently, the notion of structural roles has become increasingly important and has gained a lot of attention due to the proliferation of work on learning representations (node/edge embeddings) from graphs that preserve the notion of roles. Unfortunately, recent work has sometimes confused the notion of structural roles and communities (based on proximity) leading to misleading or incorrect claims about the capabilities of network embedding methods. As such, this paper seeks to clarify the misconceptions and key differences between structural roles and communities, and formalize the general mechanisms (e.g., random walks, feature diffusion) that give rise to community or role-based structural embeddings. We theoretically prove that embedding methods based on these mechanisms result in either community or role-based structural embeddings. These mechanisms are typically easy to identify and can help researchers quickly determine whether a method preserves community or role-based embeddings. Furthermore, they also serve as a basis for developing new and improved methods for community or role-based structural embeddings. Finally, we analyze and discuss applications and data characteristics where community or role-based embeddings are most appropriate.

研究动机与目标

• 澄清现有文献中常被混淆的基于社区（邻近性驱动）与基于角色（结构相似性驱动）网络嵌入之间的根本差异。
• 形式化支撑主流嵌入方法的机制（如随机游走和特征传播），并阐明其如何导致基于社区或基于角色的表示。
• 为判断给定嵌入方法是否保留基于社区或基于角色的结构特性，提供理论基础。
• 指导研究人员根据特定下游任务中基于社区或基于角色的结构是否更相关，选择或设计合适的嵌入方法。
• 分析在何种数据特征或应用场景下，基于社区或基于角色的嵌入最为有效。

提出的方法

• 将社区形式化为内部连接紧密、外部连接稀疏的节点集合，将角色形式化为具有相似结构模式（如图模式）的节点集合。
• 将基于邻近性的嵌入定义为保留节点邻近性或距离，将基于角色的嵌入定义为通过共享子图模式保留结构相似性。
• 理论证明基于邻近性（如随机游走）的机制（例如 DeepWalk、node2vec）因保留邻近性而产生基于社区的嵌入。
• 表明基于特征传播的机制（如 DGI、GraphSAGE）通过捕捉节点间不变的子图模式，可产生基于角色的嵌入，从而实现结构相似性保留。
• 提出一个通用框架，依据方法的底层机制及其产生的嵌入类型（基于社区 vs. 基于角色），对现有嵌入方法进行分类。
• 利用该框架分析并指导面向基于社区或基于角色任务的新方法的设计。

实验结果

研究问题

• RQ1 基于社区与基于角色的网络嵌入之间关键的理论区别是什么？为何在实践中常被混淆？
• RQ2 哪些嵌入机制（如随机游走或特征传播）自然导致基于社区或基于角色的结构表示？
• RQ3 如何基于其底层机制，正式证明某一嵌入方法是否保留了基于社区或基于角色的结构？
• RQ4 在何种数据特征或应用场景下，基于社区或基于角色的嵌入更为合适？
• RQ5 所提出的框架如何指导新嵌入方法的开发，以更好地保留基于社区或基于角色的结构？

主要发现

• 基于随机游走的方法（如 DeepWalk 和 node2vec）因其保留局部邻近性与节点距离，天然产生基于社区的嵌入。
• 基于特征传播的方法（如 DGI 和 GraphSAGE）通过捕捉跨节点的不变结构模式，产生基于角色的嵌入，从而实现结构相似性保留。
• 理论分析证实，基于邻近性的机制（如随机游走）产生基于社区的嵌入，而基于结构不变性的机制（如特征传播）产生基于角色的嵌入。
• 从基于角色的嵌入中提取的硬聚类分配在采样具有相似结构行为的节点方面非常有效，从而在主动学习和推荐系统中实现更优性能。
• 基于社区的嵌入最适合涉及局部连通性的任务，如链接预测或推荐；而基于角色的嵌入在迁移学习和影响力最大化任务中表现更优。
• 该框架使研究人员能够快速判断某一给定嵌入方法是否保留了基于社区或基于角色的结构，从而在特定应用中辅助方法选择与设计。