[论文解读] Graph Clustering with Graph Neural Networks

Anton Tsitsulin, John Palowitch+2 more|arXiv (Cornell University)|Jun 30, 2020

Advanced Graph Neural Networks参考文献 67被引用 50

一句话总结

本文提出 Deep Modularity Networks (DMoN)，一种基于无监督 GNN 的聚类方法，优化一个可微的、受模块度启发的目标并结合坍塌正则化，以可靠地恢复图聚类，在池化方法中达到最先进的结果。

ABSTRACT

Graph Neural Networks (GNNs) have achieved state-of-the-art results on many graph analysis tasks such as node classification and link prediction. However, important unsupervised problems on graphs, such as graph clustering, have proved more resistant to advances in GNNs. Graph clustering has the same overall goal as node pooling in GNNs - does this mean that GNN pooling methods do a good job at clustering graphs? Surprisingly, the answer is no - current GNN pooling methods often fail to recover the cluster structure in cases where simple baselines, such as k-means applied on learned representations, work well. We investigate further by carefully designing a set of experiments to study different signal-to-noise scenarios both in graph structure and attribute data. To address these methods' poor performance in clustering, we introduce Deep Modularity Networks (DMoN), an unsupervised pooling method inspired by the modularity measure of clustering quality, and show how it tackles recovery of the challenging clustering structure of real-world graphs. Similarly, on real-world data, we show that DMoN produces high quality clusters which correlate strongly with ground truth labels, achieving state-of-the-art results with over 40% improvement over other pooling methods across different metrics.

研究动机与目标

• 在 GNNs 框架下激发无监督的图聚类，并将聚类目标与深度学习结合起来。
• 提出一个完全可微分的聚类目标，受模块度和谱方法启发。
• 通过坍塌正则化和 dropout 来解决平凡解，稳定训练。
• 在合成和真实世界图上展示相对于基线的改进聚类质量。

提出的方法

• 通过 softmax(GCN(Ã, X)) 收集软聚类分配 C。
• 优化 LDMoN(C; A) = −(1/2m) Tr(C⊤BC) + (√k/n) X_i C⊤_i F^−1，其中 B = A − dd⊤/2m。
• 将 Tr(C⊤BC) 分解为稀疏 A 项和度归一化，以实现每次更新的 O(d^2 n)。
• 引入坍塌正则化，作为软聚类计数的 Frobenius 范数，并归一化到 [0, √k]，以避免平凡解。
• 在 softmax 之前对 GNN 表示应用 dropout，以防止陷入糟糕的局部极小值。
• 给出理论结果，表明坍塌正则化可以避免平凡聚类并在 DC-SBM 下保持渐近一致性。

实验结果

研究问题

• RQ1 在 GNN 框架内，是否可以实现具属性图的端到端可微聚类？
• RQ2 在无监督设置下，基于模块度启发的目标是否有助于恢复现实世界图的聚类结构？
• RQ3 在噪声和特征结构错位的情况下，具有合适正则化的软聚类方法是否具有鲁棒性？
• RQ4 基于 GNN 的聚类方法是否能扩展到大规模图而不牺牲聚类质量？

主要发现

• DMoN 在真实世界数据上提供高质量的聚类，并与真实标签有很强的相关性。
• DMoN 在不同度量下相比其他池化方法实现了超过 40% 的改进，达到最先进的结果。
• 坍塌正则化有效防止全体聚在一个簇的平凡解并提高训练稳定性。
• 合成实验表明，在图结构和属性的不同信噪比情形下，DMoN 表现优于基线。
• 理论结果表明，在 DC-SBM 下，坍塌正则化不会损害渐近一致性。