[论文解读] Constrained 1-Spectral Clustering

Syama Sundar Rangapuram, Matthias Hein|arXiv (Cornell University)|May 24, 2015

Face and Expression Recognition参考文献 18被引用 10

一句话总结

本文提出了一种新型方法——约束1-谱聚类（COSC），该方法将约束归一化割问题紧密松弛为连续优化框架，确保完全满足必须链接和不能链接约束。与以往方法不同，COSC在优化低归一化割的同时，保证所有约束均被满足，在包括MNIST和Shuttle在内的多种数据集（包括大规模数据集）上，其聚类准确率和割质量均优于现有方法。

ABSTRACT

An important form of prior information in clustering comes in form of cannot-link and must-link constraints. We present a generalization of the popular spectral clustering technique which integrates such constraints. Motivated by the recently proposed $1$-spectral clustering for the unconstrained problem, our method is based on a tight relaxation of the constrained normalized cut into a continuous optimization problem. Opposite to all other methods which have been suggested for constrained spectral clustering, we can always guarantee to satisfy all constraints. Moreover, our soft formulation allows to optimize a trade-off between normalized cut and the number of violated constraints. An efficient implementation is provided which scales to large datasets. We outperform consistently all other proposed methods in the experiments.

研究动机与目标

• 解决现有约束谱聚类方法无法保证约束满足的局限性。
• 提出约束归一化割问题的紧密连续松弛，实现约束的精确强制执行。
• 提供一种可扩展的解决方案，适用于大规模数据集，同时保持高聚类准确率。
• 在约束存在不一致或噪声时，支持归一化割与约束违反之间的灵活权衡。

提出的方法

• COSC利用1-拉普拉斯框架，将约束归一化割问题表述为连续优化问题，从而对离散组合问题实现紧密松弛。
• 提出一种软性公式，允许在归一化割与违反约束数量之间进行优化，以适应不可靠或不一致的约束。
• 采用非凸优化方案并结合多次随机初始化，以提高收敛至高质量解的能力。
• 通过修改的目标函数编码约束，直接在连续松弛中强制执行必须链接和不能链接条件。
• 基于[9]中的技术实现高效算法，使方法可扩展至大规模数据集，包括MNIST和Shuttle。
• 该算法可改进任意初始划分（若其满足所有约束），或在未发现改进时于一次迭代后终止。

实验结果

研究问题

• RQ1 约束归一化割问题的连续松弛能否保证完全满足必须链接和不能链接约束？
• RQ2 与现有约束谱聚类方法相比，所提方法在归一化割和聚类误差方面表现如何？
• RQ3 该方法能否通过归一化割质量与约束违反之间的权衡，处理不一致或不可靠的约束？
• RQ4 该方法能否有效扩展至大规模数据集（如MNIST和Shuttle）？

主要发现

• COSC在所有数据集上均一致优于所有基线方法，聚类误差显著降低，尤其在Spam和USPS（0 vs rest）等不平衡数据集上提升明显。
• 与SCLC相比，COSC在MNIST和Shuttle等大规模数据集上实现了显著更低的归一化割值，证明其具有更优的割质量。
• 与SCLC不同，后者尽管有理论保证但在实践中无法满足约束，而COSC在所有运行中均保证完全满足约束。
• COSC是唯一能对多划分问题实现完全约束强制执行的方法，而SCLC无法扩展至此类问题。
• 在存在不一致约束的实验中，COSC能有效平衡归一化割与约束违反，表现出对不可靠输入的鲁棒性。
• 该方法可高效扩展至大规模数据集，成功处理了MNIST（630,000个样本）和Shuttle（58,000个样本），而其他方法（如CSP）因密集矩阵运算而失败。