[论文解读] Detecting Communities from Heterogeneous Graphs: A Context Path-based Graph Neural Network Model

Linhao Luo, Yixiang Fang+3 more|arXiv (Cornell University)|Sep 5, 2021

Complex Network Analysis Techniques参考文献 59被引用 7

一句话总结

该论文提出CP-GNN，一种基于上下文路径的图神经网络，用于异质图中的社区检测，消除了对人工定义元路径的依赖。通过可学习的上下文路径建模高阶关系，并利用注意力机制衡量路径重要性，CP-GNN在真实世界数据集上实现了最先进性能，在无监督社区检测任务中优于现有方法。

ABSTRACT

Community detection, aiming to group the graph nodes into clusters with dense inner-connection, is a fundamental graph mining task. Recently, it has been studied on the heterogeneous graph, which contains multiple types of nodes and edges, posing great challenges for modeling the high-order relationship between nodes. With the surge of graph embedding mechanism, it has also been adopted to community detection. A remarkable group of works use the meta-path to capture the high-order relationship between nodes and embed them into nodes' embedding to facilitate community detection. However, defining meaningful meta-paths requires much domain knowledge, which largely limits their applications, especially on schema-rich heterogeneous graphs like knowledge graphs. To alleviate this issue, in this paper, we propose to exploit the context path to capture the high-order relationship between nodes, and build a Context Path-based Graph Neural Network (CP-GNN) model. It recursively embeds the high-order relationship between nodes into the node embedding with attention mechanisms to discriminate the importance of different relationships. By maximizing the expectation of the co-occurrence of nodes connected by context paths, the model can learn the nodes' embeddings that both well preserve the high-order relationship between nodes and are helpful for community detection. Extensive experimental results on four real-world datasets show that CP-GNN outperforms the state-of-the-art community detection methods.

研究动机与目标

• 解决异质图中存在多种节点类型和边类型所携带丰富语义信息时的社区检测挑战。
• 克服基于元路径方法的局限性，后者需要专家定义路径且面临路径爆炸的指数增长问题。
• 开发一种无监督学习框架，捕捉高阶节点关系而无需事先的模式知识。
• 使模型能够自动识别并优先考虑对社区检测最有信息量的高阶关系。
• 通过注意力增强的GNN架构，将上下文路径建模为概率共现信号，从而提升社区检测性能。

提出的方法

• 引入上下文路径作为连接主类型节点的序列，通过辅助类型节点捕获高阶关系，无需预定义元路径。
• 定义上下文路径概率以建模两个节点通过此类路径相连的可能性，构成目标函数的基础。
• 提出一种无监督目标函数，通过最大化由上下文路径连接的节点的期望共现性，以保留高阶结构。
• 采用多头注意力机制的GNN架构，递归聚合嵌入表示，区分不同上下文路径的重要性。
• 引入上下文路径长度注意力机制，为更长、相关性更低的路径分配更低权重，提升对超参数选择的鲁棒性。
• 使用关系级别注意力机制，动态加权上下文路径中不同边类型对路径的贡献，识别语义上有意义的关系。

实验结果

研究问题

• RQ1 上下文路径是否能在不依赖人工设计元路径的情况下，有效建模异质图中的高阶关系？
• RQ2 如何无监督地训练图神经网络，以保留高阶结构模式用于社区检测？
• RQ3 注意力机制是否能有效识别并优先考虑对社区检测最有信息量的上下文路径？
• RQ4 所提出的CP-GNN模型是否在真实世界异质图上优于最先进社区检测方法？
• RQ5 模型性能对上下文路径长度的选择是否敏感？注意力机制能否降低这种依赖性？

主要发现

• CP-GNN在包括ACM、DBLP在内的四个真实世界数据集上，于多种评估指标下均优于最先进社区检测方法。
• 当上下文路径长度K=4时模型达到最优性能，K>4时性能略有下降，原因在于对长而无关路径的过拟合。
• 上下文路径长度的注意力权重随长度增加而减小，证实较短路径更具信息量，与直观预期一致。
• 关系级别注意力机制成功识别出更具语义意义的路径（如PSP和APCPA），其较高的注意力得分与下游评估中更好的F1分数相关。
• 注意力机制降低了对超参数K的敏感性，即使K设置为高于最优值（如K=5或6），性能仍接近最优。
• 注意力矩阵的可视化结果表明，模型学会了聚焦于语义相关的节点和边类型，如作者-论文-主题的连接，这些是社区形成的关键因素。