[论文解读] From Node Embedding To Community Embedding

Vincent W. Zheng, Sandro Cavallari+3 more|arXiv (Cornell University)|Oct 31, 2016

Advanced Graph Neural Networks参考文献 20被引用 32

一句话总结

该论文提出了ComE，这是首个通过闭环反馈机制联合优化节点嵌入与社区嵌入的社区嵌入方法。通过建模社区感知的高阶接近度，ComE在社区检测和节点分类任务中均表现更优，在真实世界数据集上的宏F1得分最高提升43.5%，NMI得分最高提升7.8%。

ABSTRACT

Most of the existing graph embedding methods focus on nodes, which aim to output a vector representation for each node in the graph such that two nodes being "close" on the graph are close too in the low-dimensional space. Despite the success of embedding individual nodes for graph analytics, we notice that an important concept of embedding communities (i.e., groups of nodes) is missing. Embedding communities is useful, not only for supporting various community-level applications, but also to help preserve community structure in graph embedding. In fact, we see community embedding as providing a higher-order proximity to define the node closeness, whereas most of the popular graph embedding methods focus on first-order and/or second-order proximities. To learn the community embedding, we hinge upon the insight that community embedding and node embedding reinforce with each other. As a result, we propose ComEmbed, the first community embedding method, which jointly optimizes the community embedding and node embedding together. We evaluate ComEmbed on real-world data sets. We show it outperforms the state-of-the-art baselines in both tasks of node classification and community prediction.

研究动机与目标

• 为解决图表示学习中社区嵌入的缺失问题，现有方法大多仅关注单个节点的表示。
• 通过利用节点嵌入生成社区，并利用社区嵌入优化节点嵌入，实现社区检测与嵌入之间的闭环。
• 提出一种新型高阶接近度——社区感知接近度，以捕捉超越一阶和二阶连接的结构凝聚性。
• 评估社区嵌入在提升社区检测与下游节点分类任务效果方面的有效性。

提出的方法

• ComE采用闭环框架，联合优化节点嵌入与社区嵌入，其中社区结构指导节点表示，反之亦然。
• 社区嵌入被建模为多元正态分布（均值与协方差），以表示社区成员在嵌入空间中的空间分布。
• 提出一种新颖的社区感知高阶接近度，即使在无直接连接或共享上下文的情况下，也促使同一社区内的节点在低维空间中保持接近。
• 目标函数结合了一阶与二阶接近度，并引入一个包含社区嵌入信息的正则化项，由超参数α和β控制。
• 通过在优化后的节点嵌入上应用高斯混合模型（GMM）进行社区检测，实现端到端学习。
• 采用带负采样的随机优化方法进行训练，且收敛速度快，与图大小（|V|和|E|）呈线性关系。

实验结果

研究问题

• RQ1 社区嵌入能否作为节点群组的有意义表示，并提升社区检测性能？
• RQ2 如何利用社区嵌入在传统一阶与二阶接近度之外，进一步增强节点嵌入？
• RQ3 节点嵌入与社区嵌入之间的闭环反馈是否能提升社区检测与节点分类的性能？
• RQ4 超参数α与β对不同类型接近度之间权衡及整体模型性能的影响如何？

主要发现

• 与所有数据集上最佳基线方法相比，ComE在导出性（conductance）上提升1.1%–2.8%，在NMI上提升2.5%–7.8%。
• 在节点分类任务中，ComE在宏F1上相对基线方法提升9.52%–43.5%，在微F1上提升6.9%–19.4%，p值<0.01，表明具有统计显著性。
• 模型收敛迅速，训练损失在数轮迭代内即趋于稳定，且处理时间与图大小（|V|和|E|）呈线性关系。
• 超参数分析表明，α=0.1且β=0.1时性能最优，且在[0.001, 1]范围内对两个参数均表现出鲁棒性。
• 社区感知高阶接近度有效捕捉了结构凝聚性，即使在无直接监督的情况下，也能生成更优的节点表示。
• ComE表明，联合学习节点与社区嵌入可实现相互提升，验证了闭环设计的有效性。