[论文解读] On Robustness of Kernel Clustering

Bowei Yan, Purnamrita Sarkar|arXiv (Cornell University)|Jun 6, 2016

Sparse and Compressive Sensing Techniques参考文献 3被引用 4

一句话总结

本文提出了一种核聚类的半定规划（SDP）松弛方法，并在具有任意异常值的高维混合模型下建立了理论一致性与鲁棒性。结果表明，SDP在无异常值时实现强一致性（精确恢复），在存在异常值时实现弱一致性（误分类率趋于零），其鲁棒性与收敛速度优于K-SVD。

ABSTRACT

Clustering is one of the most important unsupervised problems in machine learning and statistics. Among many existing algorithms, kernel k-means has drawn much research attention due to its ability to find non-linear cluster boundaries and its inherent simplicity. There are two main approaches for kernel k-means: SVD of the kernel matrix and convex relaxations. Despite the attention kernel clustering has received both from theoretical and applied quarters, not much is known about robustness of the methods. In this paper we first introduce a semidefinite programming relaxation for the kernel clustering problem, then prove that under a suitable model specification, both the K-SVD and SDP approaches are consistent in the limit, albeit SDP is strongly consistent, i.e. achieves exact recovery, whereas K-SVD is weakly consistent, i.e. the fraction of misclassified nodes vanish.

研究动机与目标

• 研究核聚类方法（特别是K-SVD与SDP）在高维数据中存在任意异常值时的鲁棒性。
• 在具有分离良好的聚类中心的次高斯混合模型下，为K-SVD与SDP建立理论一致性保证。
• 比较K-SVD与SDP对异常值的鲁棒性，尤其关注误分类率与收敛行为。
• 通过理论与实验表明，SDP比K-SVD更具鲁棒性，尤其当异常值数量相对于内点缓慢增长时。

提出的方法

• 提出一种新颖的核聚类半定规划（SDP）松弛方法，将其表述为在核矩阵上的凸优化问题。
• 使用从具有 $ r $ 个大小相等的内点聚类与 $ m $ 个任意异常值的次高斯混合模型导出的低秩核矩阵。
• 应用谱扰动理论与随机矩阵理论，以界定特征向量偏离真实聚类结构的程度。
• 利用核矩阵的第 $ r $ 个与第 $ (r+1) $ 个特征值之间的间隔，推导出误聚类节点的误差界。
• 采用交替方向乘子法（ADMM）求解SDP，实现可扩展的实用化实现。
• 通过内点准确率比较性能，并使用标签排列搜索以解决聚类标签的模糊性问题。

实验结果

研究问题

• RQ1 在次高斯混合模型下，核聚类的SDP松弛在一致性与误差界方面表现如何？
• RQ2 当存在异常值时，K-SVD在一致性与误分类率方面表现如何？
• RQ3 与K-SVD相比，SDP松弛对任意异常值是否更具鲁棒性，尤其是在异常值数量增加时？
• RQ4 误分类误差对最小聚类分离度、聚类数量与异常值数量的依赖关系如何？
• RQ5 基于谱扰动理论推导的理论误差界是否能准确预测有限样本下的实际性能？

主要发现

• SDP松弛实现强一致性：在无异常值模型下，随着 $ n \to \infty $，误分类节点数量以高概率趋于零。
• K-SVD为弱一致性：误分类节点的比例以高概率趋于零，但误分类节点的绝对数量可能不趋于零。
• 在存在任意异常值时，若 $ m = o(n) $，两种方法均为弱一致，但SDP表现出显著更低的误分类误差。
• K-SVD的理论误差界为 $ O_P\left(\max\left\{\frac{mn^2}{r(\lambda_r - \lambda_{r+1})^2}, \frac{n^3 \log p}{rp(\lambda_r - \lambda_{r+1})^2}\right\} \right) $，表明其对异常值数量与聚类分离度敏感。
• SDP比K-SVD更具抗异常值能力：实验结果表明，随着异常值数量增加，SDP仍能保持高内点准确率，而其他方法性能下降。
• 在模拟实验中，随着聚类分离度增加，SDP的收敛速度更快且方差更小，与理论预测一致。