[论文解读] Generalized Spectral Clustering via Gromov-Wasserstein Learning

Samir Chowdhury, Tom Needham|arXiv (Cornell University)|Jun 7, 2020

Complex Network Analysis Techniques参考文献 52被引用 13

一句话总结

该论文提出了谱Gromov-Wasserstein学习（SpecGWL），一种广义谱聚类方法，其在Gromov-Wasserstein框架中用热核替代邻接矩阵。通过利用热核的多尺度与稳定性特性，SpecGWL在图划分任务中表现优越——在真实网络上的性能超越了最先进的GWL方法——同时通过Fiedler向量建立了最优传输与谱聚类之间的新型理论联系。

ABSTRACT

We establish a bridge between spectral clustering and Gromov-Wasserstein Learning (GWL), a recent optimal transport-based approach to graph partitioning. This connection both explains and improves upon the state-of-the-art performance of GWL. The Gromov-Wasserstein framework provides probabilistic correspondences between nodes of source and target graphs via a quadratic programming relaxation of the node matching problem. Our results utilize and connect the observations that the GW geometric structure remains valid for any rank-2 tensor, in particular the adjacency, distance, and various kernel matrices on graphs, and that the heat kernel outperforms the adjacency matrix in producing stable and informative node correspondences. Using the heat kernel in the GWL framework provides new multiscale graph comparisons without compromising theoretical guarantees, while immediately yielding improved empirical results. A key insight of the GWL framework toward graph partitioning was to compute GW correspondences from a source graph to a template graph with isolated, self-connected nodes. We show that when comparing against a two-node template graph using the heat kernel at the infinite time limit, the resulting partition agrees with the partition produced by the Fiedler vector. This in turn yields a new insight into the k-cut graph partitioning problem through the lens of optimal transport. Our experiments on a range of real-world networks achieve comparable results to, and in many cases outperform, the state-of-the-art achieved by GWL.

研究动机与目标

• 通过探索替代图表示方法，解决在Gromov-Wasserstein学习（GWL）中使用邻接矩阵缺乏理论依据的问题。
• 通过在GWL框架中用热核替代邻接矩阵，提升图划分性能。
• 建立SpecGWL与经典谱聚类之间的严格理论联系，特别是通过Fiedler向量。
• 提供实证与理论证据，表明基于热核的GWM匹配相比基于邻接矩阵的方法能产生更稳定、更保结构的节点对应关系。
• 开发用于分析GWM损失景观与可视化软节点匹配的工具，提升基于GWM的图学习的可解释性。

提出的方法

• 该方法在GWL中用热核矩阵替代邻接矩阵，热核矩阵编码了图上的多尺度扩散过程。
• 利用热核作为关系数据，构建一个Gromov-Wasserstein问题，实现源图与模板图之间的软节点对应。
• 采用一个包含两个节点且自连接的模板图，证明热核在无限时间极限下可恢复Fiedler向量划分。
• 该框架使用梯度下降优化GWM损失，结合马尔可夫链采样以探索能量景观，评估收敛性与局部极小值。
• 提出一种可视化技术，通过比较不同方法在结构保持方面的表现，评估软匹配的质量。
• 理论分析包括证明最优耦合的稀疏性，并通过Fiedler向量建立SpecGWL划分与谱聚类之间的等价性。

实验结果

研究问题

• RQ1 在Gromov-Wasserstein框架中用热核替代邻接矩阵是否能提升图划分性能？
• RQ2 热核的多尺度特性是否能增强节点对应学习中的稳定性与信息量？
• RQ3 SpecGWL与经典谱聚类之间是否存在理论联系，特别是通过Fiedler向量？
• RQ4 SpecGWL的损失景观与GWL相比，在虚假局部极小值与收敛速度方面有何差异？
• RQ5 基于热核的匹配在多大程度上比基于邻接矩阵的匹配更有效地保持全局图结构？

主要发现

• 在所有测试的真实世界网络中，SpecGWL均优于GWL，在Wikipedia、EU-email、Amazon和Village数据集上均取得了最高的AMI分数。
• 在Wikipedia数据集中，SpecGWL在对称原始数据上实现了0.442的AMI，超过GWL的0.382，并在有向图划分中优于Infomap。
• 在Amazon数据集中，SpecGWL在噪声数据上实现了0.692的AMI，显著优于GWL的0.573，表现出对边扰动的鲁棒性。
• SpecGWL的损失景观中虚假局部极小值更少，且在梯度下降中收敛速度比GWL快10倍。
• 可视化结果证实，基于热核的匹配比基于邻接矩阵的匹配更忠实地保持了全局图结构。
• 理论上，通过热核在无限时间极限下的SpecGWL划分恰好恢复了Fiedler向量划分，建立了最优传输与谱聚类之间的直接联系。