[论文解读] The Hidden Convexity of Spectral Clustering

James Voss, Mikhail A. Belkin+1 more|arXiv (Cornell University)|Mar 4, 2014

Sparse and Compressive Sensing Techniques参考文献 20被引用 9

一句话总结

本文提出了一种新颖的谱聚类框架，将多路聚类问题建模为在单位球面上通过凸最大化进行基向量恢复。通过优化一类可接受的对比函数——其全局最大值对应于聚类方向——该方法揭示了‘隐藏凸性’，从而能够通过凸最大化实现可证明的、高效的聚类恢复，为谱空间中的传统k-means提供了一种理论基础坚实且可实现的替代方案。

ABSTRACT

In recent years, spectral clustering has become a standard method for data analysis used in a broad range of applications. In this paper we propose a new class of algorithms for multiway spectral clustering based on optimization of a certain "contrast function" over the unit sphere. These algorithms, partly inspired by certain Independent Component Analysis techniques, are simple, easy to implement and efficient. Geometrically, the proposed algorithms can be interpreted as hidden basis recovery by means of function optimization. We give a complete characterization of the contrast functions admissible for provable basis recovery. We show how these conditions can be interpreted as a "hidden convexity" of our optimization problem on the sphere; interestingly, we use efficient convex maximization rather than the more common convex minimization. We also show encouraging experimental results on real and simulated data.

研究动机与目标

• 为解决标准多路谱聚类在理论和实践上的局限性，特别是其在谱空间中对启发式k-means聚类的依赖。
• 将谱聚类形式化为基向量恢复问题，其中聚类结构对应于k维空间中的正交方向。
• 识别并表征一类对比函数，其在球面上的全局最大值恰好对应于聚类方向，从而实现可证明的恢复。
• 证明凸最大化——与典型的凸最小化不同——在此几何设置中可高效求解，原因在于隐藏凸性结构。
• 为谱嵌入空间中的迭代聚类方法（如k-means）提供一种理论基础坚实且可实现的替代方案。

提出的方法

• 该方法将聚类恢复建模为在单位球面 $ \mathbb{S}^{k-1} $ 上最大化对比函数 $ F_g(\mathbf{u}) = \frac{1}{n} \sum_{i=1}^n g(\mathbf{u}^T \mathbf{x}_i) $，其中 $ \mathbf{x}_i $ 为嵌入后的数据点。
• 识别出一类可接受的对比函数 $ g $，使得 $ t \mapsto g(\sqrt{t}) $ 严格凸，从而确保 $ F_g $ 的全局最大值与聚类方向对齐。
• 该方法利用几何结构：当聚类完全分离时，谱嵌入形成正交基，且 $ F_g $ 的最大值可恢复这些基向量。
• 该方法对图拉普拉斯矩阵的选择（未归一化、对称归一化）具有不变性，只要嵌入满足基结构即可。
• 采用高效的球面上凸最大化优化技术，由于隐藏凸性结构，避免了此类问题通常具有的NP难性。
• 该算法简单、高效且可实现，相关代码已发布于GitHub。

实验结果

研究问题

• RQ1 谱聚类能否被重新诠释为在球面上的基向量恢复问题，使得聚类结构对应于谱嵌入空间中的正交方向？
• RQ2 哪类对比函数能保证其在球面上的全局最大值恰好对应于真实聚类方向？
• RQ3 为何凸最大化——而非凸最小化——在此设置中有效？其何种结构特性使得即使在一般情况下为NP难，仍能实现高效优化？
• RQ4 如何形式化表征并利用该优化问题的隐藏凸性以实现可证明的恢复？
• RQ5 所提出的算法在真实和合成数据上的谱聚类中，相较于标准k-means的性能优势有多大？

主要发现

• 本文证明，对于任意满足 $ t \mapsto g(\sqrt{t}) $ 严格凸的对比函数 $ g $，$ F_g $ 在单位球面 $ \mathbb{S}^{k-1} $ 上的全局最大值恰好为对应于真实聚类基向量的 $ \pm \mathbf{z}_i $ 方向。
• 该优化问题表现出‘隐藏凸性’——尽管在凸集上最大化凸函数在一般情况下为NP难，但谱嵌入的特定几何结构使得该问题可高效求解。
• 当数据在 $ \mathbb{R}^k $ 中形成完美单纯形时，该方法可可证明地恢复真实聚类基，每个聚类被映射到原点出发的一条独立射线。
• 只要嵌入产生正交基，该方法对图拉普拉斯矩阵的选择（未归一化、对称归一化）具有鲁棒性。
• 在合成与真实数据集上的实验结果表明，所提方法在聚类性能上与标准谱聚类结合k-means相比具有竞争力或更优表现。
• 由于 $ g(\sqrt{t}) $ 的严格凸性条件，该方法避免了类似ICA方法中常见的虚假局部最大值，确保不存在额外的极值点。