[论文解读] From Community to Role-based Graph Embeddings.

Ryan A. Rossi, Di Jin+4 more|arXiv (Cornell University)|Aug 22, 2019

Advanced Graph Neural Networks参考文献 155被引用 20

一句话总结

本文澄清了图嵌入中角色与社区的根本区别，形式化了生成基于角色或基于社区表示的机制（如随机游走和特征扩散）。它从数学上证明了为何某些方法更倾向于学习一种结构而非另一种，为设计更优、更具针对性的嵌入技术奠定了基础。

ABSTRACT

Roles are sets of structurally similar nodes that are more similar to nodes inside the set than outside, whereas communities are sets of nodes with more connections inside the set than outside (based on proximity/closeness, density). Roles and communities are fundamentally different but important complementary notions. Recently, the notion of roles has become increasingly important and has gained a lot of attention due to the proliferation of work on learning representations (node/edge embeddings) from graphs that preserve the notion of roles. Unfortunately, recent work has sometimes confused the notion of roles and communities leading to misleading or incorrect claims about the capabilities of network embedding methods. As such, this manuscript seeks to clarify the differences between roles and communities, and formalize the general mechanisms (e.g., random walks, feature diffusion) that give rise to community or role-based embeddings. We show mathematically why embedding methods based on these identified mechanisms are either community or role-based. These mechanisms are typically easy to identify and can help researchers quickly determine whether a method is more prone to learn community or role-based embeddings. Furthermore, they also serve as a basis for developing new and better methods for community or role-based embeddings. Finally, we analyze and discuss the applications and data characteristics where community or role-based embeddings are most appropriate.

研究动机与目标

• 澄清图网络中角色与社区在概念和数学上的区别。
• 识别并形式化导致基于角色或基于社区的节点嵌入的核心机制（如随机游走和特征扩散）。
• 通过展示某些嵌入方法本质上更倾向于学习社区或角色，防止先前研究中的误解。
• 为设计针对角色或社区结构的新型嵌入方法提供原则性基础。
• 根据数据特征和应用需求，指导研究人员选择合适的嵌入方法。

提出的方法

• 本文将角色形式化为结构相似节点的集合，与由密集内部连接定义的社区区分开来。
• 从底层机制的视角分析嵌入方法，特别是随机游走（如DeepWalk、node2vec）和特征扩散（如GCN、GAE）。
• 推导出这些机制在何种数学条件下更倾向于生成基于角色或基于社区的表示。
• 利用结构等价性和自同构不变性，刻画嵌入在何时捕捉角色而非社区。
• 通过在受控图模型下比较不同方法的行为，验证理论区分的有效性。
• 提出一个框架，基于方法对角色或社区的内在归纳偏置，对现有方法进行分类。

实验结果

研究问题

• RQ1 图网络中角色与社区的根本区别是什么？为何这一区分对嵌入方法至关重要？
• RQ2 哪些机制（如随机游走或特征扩散）导致生成基于角色或基于社区的嵌入？
• RQ3 我们如何从数学上判断给定的嵌入方法是否偏向于学习角色或社区？
• RQ4 在哪些类型的数据或应用场景中，基于角色或基于社区的嵌入更为合适？
• RQ5 我们能否基于所识别的机制，设计出具有保证偏向于角色或社区的新嵌入方法？

主要发现

• 基于随机游走的方法（如DeepWalk和node2vec）由于依赖局部邻近性和基于路径的采样，本质上偏向于学习社区结构。
• 基于特征扩散的方法（如GCN和GAE）更可能学习到基于角色的表示，因其强调结构等价性和邻域聚合。
• 本文证明了结构等价性（自同构不变性）是基于角色嵌入的关键数学特性，而基于社区的方法并不保持该特性。
• 先前文献中将基于角色的方法误认为基于社区的方法，已导致关于泛化能力和可迁移性的误导性结论。
• 所识别的机制为预测某方法在学习表示时是否会优先关注角色或社区提供了可靠的诊断工具。
• 具有高度结构对称性或模块化角色的数据更受益于基于角色的嵌入，而密集连接的子图则更适用于基于社区的方法。