[论文解读] Eigenvectors for clustering: Unipartite, bipartite, and directed graph cases

Andri Mirzal, Masashi Furukawa|arXiv (Cornell University)|May 14, 2010

Complex Network Analysis Techniques参考文献 16被引用 4

一句话总结

本文通过将所有情况简化为对称相似度矩阵上的迹最大化问题，为单部图、二部图和有向图的谱聚类提供了一个统一的理论框架。它证明了二部图中的K路共聚类可通过数据矩阵的左、右奇异向量求解，并将Ky Fan定理推广至长方形复矩阵，为谱共聚类和有向图聚类算法提供了理论基础。

ABSTRACT

This paper presents a concise tutorial on spectral clustering for broad spectrum graphs which include unipartite (undirected) graph, bipartite graph, and directed graph. We show how to transform bipartite graph and directed graph into corresponding unipartite graph, therefore allowing a unified treatment to all cases. In bipartite graph, we show that the relaxed solution to the $K$-way co-clustering can be found by computing the left and right eigenvectors of the data matrix. This gives a theoretical basis for $K$-way spectral co-clustering algorithms proposed in the literatures. We also show that solving row and column co-clustering is equivalent to solving row and column clustering separately, thus giving a theoretical support for the claim: ``column clustering implies row clustering and vice versa''. And in the last part, we generalize the Ky Fan theorem---which is the central theorem for explaining spectral clustering---to rectangular complex matrix motivated by the results from bipartite graph analysis.

研究动机与目标

• 为单部图、二部图和有向图的谱聚类提供统一的理论解释。
• 证明二部图中的K路共聚类可通过数据矩阵的左、右特征向量求解。
• 证明同时对行和列进行聚类与分别求解行聚类和列聚类等价，支持‘列聚类蕴含行聚类，反之亦然’这一说法。
• 通过SVD将Ky Fan定理推广至长方形复矩阵，扩展其在二部图和有向图设置中的适用性。
• 通过迹最大化和矩阵分解，为现有谱共聚类和有向图聚类算法提供理论基础。

提出的方法

• 将二部图和有向图转换为对称相似度矩阵，以实现谱聚类的统一处理。
• 使用奇异值分解（SVD）计算二部共聚类中的左、右奇异向量，其中数据矩阵为长方形矩阵。
• 将K路聚类表述为在酉矩阵上的迹最大化问题，利用Ky Fan定理获得最优解。
• 通过扩展基于SVD的证明，将Ky Fan定理推广至长方形复矩阵，表明其为Eckart-Young定理的推论。
• 通过将矩阵与其转置相加，对有向图相似度矩阵进行对称变换，以对称形式保留方向信息。
• 从主导的左、右奇异向量中推导出聚类指示矩阵，实现行和列的同步聚类。

实验结果

研究问题

• RQ1 如何通过统一的数学框架将谱聚类一致地应用于单部图、二部图和有向图？
• RQ2 支持对二部数据矩阵中行和列同时聚类的谱共聚类算法的理论基础是什么？
• RQ3 为何在二部图中分别求解行聚类和列聚类与联合求解等价？
• RQ4 如何将Ky Fan定理推广至长方形复矩阵，以支持在二部图和有向图设置中的谱聚类？
• RQ5 SVD和矩阵分解在推导非方阵数据矩阵的最优聚类解中起什么作用？

主要发现

• 二部图中的K路共聚类可通过计算数据矩阵的前K个左、右奇异向量最优求解，为谱共聚类算法提供了理论依据。
• 行和列的同步聚类与分别求解行聚类和列聚类等价，验证了‘列聚类蕴含行聚类，反之亦然’的合理性。
• 通过SVD将Ky Fan定理推广至长方形复矩阵，为非方阵和有向图设置中的谱聚类建立了理论基础。
• 通过将矩阵与其转置相加，对有向图相似度矩阵进行对称变换，保留了方向信息，并可应用标准谱聚类方法。
• 所提出的框架表明，三种图类型的谱聚类均可归约为对称矩阵上的迹最大化问题，从而实现统一的算法处理。
• SVD解被证明是Eckart-Young定理的推论，进一步强化了该方法的数学一致性。