[论文解读] Graph Clustering with Dynamic Embedding

Carl Yang, Mengxiong Liu+3 more|arXiv (Cornell University)|Dec 21, 2017

Complex Network Analysis Techniques参考文献 46被引用 11

一句话总结

本文提出GRACE，一种深度无监督图聚类方法，通过影响传播和自训练联合学习动态节点嵌入与聚类分配。通过使用深度去噪自编码器将稀疏、嘈杂的节点内容与链接结构进行端到端优化整合，GRACE在六个真实网络上实现了最先进性能。

ABSTRACT

Graph clustering (or community detection) has long drawn enormous attention from the research on web mining and information networks. Recent literature on this topic has reached a consensus that node contents and link structures should be integrated for reliable graph clustering, especially in an unsupervised setting. However, existing methods based on shallow models often suffer from content noise and sparsity. In this work, we propose to utilize deep embedding for graph clustering, motivated by the well-recognized power of neural networks in learning intrinsic content representations. Upon that, we capture the dynamic nature of networks through the principle of influence propagation and calculate the dynamic network embedding. Network clusters are then detected based on the stable state of such an embedding. Unlike most existing embedding methods that are task-agnostic, we simultaneously solve for the underlying node representations and the optimal clustering assignments in an end-to-end manner. To provide more insight, we theoretically analyze our interpretation of network clusters and find its underlying connections with two widely applied approaches for network modeling. Extensive experimental results on six real-world datasets including both social networks and citation networks demonstrate the superiority of our proposed model over the state-of-the-art.

研究动机与目标

• 解决在节点内容稀疏且嘈杂、链接结构不完整的情况下，无监督图聚类的挑战。
• 克服浅层模型无法捕捉复杂内容表征且对噪声和稀疏性敏感的局限性。
• 开发一种任务感知的深度嵌入框架，以端到端方式联合优化节点表征与聚类分配。
• 利用影响传播建模节点嵌入在网络中的动态演化过程，以提升聚类检测效果。
• 实现无需标注数据的高效、可扩展且基于自训练的学习机制

提出的方法

• 使用具有多层非线性结构的深度去噪自编码器，从稀疏且嘈杂的节点内容中学习紧凑且鲁棒的表征。
• 应用影响传播原理，基于网络结构和内容感知表征动态更新节点嵌入。
• 将动态嵌入过程建模为一组迭代更新，收敛至反映底层社区结构的稳定状态。
• 集成无监督自训练聚类组件，利用高置信度预测在训练过程中迭代优化聚类分配。
• 通过端到端联合优化嵌入损失与聚类目标，在闭环中训练整个框架。
• 模型在GPU上进行训练，设计用于大规模真实网络的可扩展性

实验结果

研究问题

• RQ1 深度嵌入能否有效建模真实网络中稀疏且嘈杂的节点内容，从而提升图聚类性能？
• RQ2 如何利用影响传播动态演化节点表征，以揭示社区结构？
• RQ3 端到端联合学习节点嵌入与聚类分配是否优于解耦或两阶段方法？
• RQ4 在监督信息有限的无监督设置下，引入自训练是否能提升聚类性能？
• RQ5 所提方法在多样化的现实世界网络中与最先进基线相比表现如何？

主要发现

• GRACE在六个真实世界数据集（包括社交网络和引用网络）上实现了最先进性能，优于现有无监督聚类方法。
• 将深度内容嵌入与影响传播相结合，显著提升了聚类准确率，尤其在节点属性稀疏且嘈杂的网络中表现更优。
• 自训练组件通过利用高置信度预测迭代优化聚类分配，进一步提升了模型性能。
• GRACE在GPU上训练时展现出强大的可扩展性与效率，适用于大规模网络分析。
• 理论分析揭示了GRACE的聚类解释与广泛使用的网络建模方法之间的联系，验证了其设计原则。
• 实证结果表明，GRACE在多个评估指标上均一致优于DeepWalk、node2vec、BigClam和CESNA等基线方法。