[论文解读] A Semi-Definite Programming approach to low dimensional embedding for unsupervised clustering

Stéphane Chrétien, Clément Dombry+1 more|arXiv (Cornell University)|Jun 29, 2016

Bayesian Methods and Mixture Models参考文献 16被引用 6

一句话总结

本文提出一种半定规划（SDP）方法，用于在高斯混合模型中估计聚类矩阵，通过谱分解实现面向聚类的低维嵌入。该方法仅使用成对距离，对高维数据具有鲁棒性，并通过浓度不等式和格罗滕迪克不等式提供理论保证，在聚类效率和稀疏性保持方面优于标准嵌入方法。

ABSTRACT

This paper proposes a variant of the method of Guédon and Verhynin for estimating the cluster matrix in the Mixture of Gaussians framework via Semi-Definite Programming. A clustering oriented embedding is deduced from this estimate. The procedure is suitable for very high dimensional data because it is based on pairwise distances only. Theoretical garantees are provided and an eigenvalue optimisation approach is proposed for computing the embedding. The performance of the method is illustrated via Monte Carlo experiements and comparisons with other embeddings from the literature.

研究动机与目标

• 开发一种基于低维嵌入的鲁棒高维聚类方法，优先考虑聚类分离性而非距离保持性。
• 在高斯混合模型框架下，利用半定规划估计聚类矩阵（通过1和0定义聚类成员关系）。
• 利用浓度不等式和格罗滕迪克不等式，为SDP估计器提供理论保证。
• 证明所得嵌入通过集中类内点并分离类间点，可提升聚类性能。
• 表明随着维度增加，依据大数定律，估计器的鲁棒性增强，对低维波动的敏感性降低。

提出的方法

• 该方法将聚类矩阵估计建模为一个半定规划（SDP），通过最小化聚类矩阵的秩和稀疏性的凸松弛形式实现。
• 利用高斯浓度不等式，界定在高维采样下经验亲和矩阵与其期望之间的偏差。
• 在估计矩阵为正定且对角线元素为1的约束下求解SDP，确保其位于格罗滕迪克矩阵集合内。
• 通过估计聚类矩阵的谱分解获得最终嵌入，其中特征向量表示数据点的低维表示。
• 该方法仅以成对距离作为输入，适用于全协方差估计不可行的极高维数据。
• 提出一种特征值优化程序，高效计算嵌入，避免完整的矩阵求逆或迭代优化。

实验结果

研究问题

• RQ1 能否通过仅使用成对距离的半定规划方法，在高斯混合模型框架下可靠估计聚类矩阵？
• RQ2 与保持距离的嵌入相比，所得嵌入是否通过增强类内凝聚性和类间分离性，提升了聚类性能？
• RQ3 估计器的鲁棒性如何随数据维度增加而变化，特别是在大数定律下？
• RQ4 在蒙特卡洛模拟中，基于SDP的嵌入在多大程度上优于谱聚类或扩散映射等现有方法？
• RQ5 能否利用浓度不等式和格罗滕迪克不等式建立估计误差的理论边界？

主要发现

• SDP估计器在聚类矩阵上的估计误差界与随机块模型中的误差界同阶，验证了其理论合理性。
• 蒙特卡洛实验表明，当维度从50增加到450时，亲和矩阵的稀疏性提高了10%至20%。
• 该方法对高维数据具有鲁棒性：随着维度增加，亲和矩阵收敛至确定性极限，降低了对低维波动的敏感性。
• 通过估计聚类矩阵的谱分解获得的嵌入，在聚类任务中优于标准的距离保持型嵌入，更强调聚类结构而非几何距离。
• 采用 $l^p$ 伪范数最小化（$p = 0.05$）可提升亲和矩阵的稀疏性，相对误差直方图显示在各维度下均表现出一致收敛。
• 理论分析证实，在高斯混合模型下，该估计器具有一致性，浓度不等式确保了经验亲和矩阵的偏差边界紧密。