[论文解读] Efficient Sparse Clustering of High-Dimensional Non-spherical Gaussian Mixtures

Martin Azizyan, Aarti Singh+1 more|arXiv (Cornell University)|Jun 9, 2014

Bayesian Methods and Mixture Models参考文献 26被引用 9

一句话总结

该论文提出了一种计算高效的聚类方法，用于高维非球形高斯混合模型，通过将稀疏线性判别分析与高斯混合模型学习相结合。其样本复杂度与相关特征的稀疏性成正比，并仅对环境维度呈对数依赖，即使边际方法失效时也能实现稳健的特征选择。

ABSTRACT

We consider the problem of clustering data points in high dimensions, i.e. when the number of data points may be much smaller than the number of dimensions. Specifically, we consider a Gaussian mixture model (GMM) with non-spherical Gaussian components, where the clusters are distinguished by only a few relevant dimensions. The method we propose is a combination of a recent approach for learning parameters of a Gaussian mixture model and sparse linear discriminant analysis (LDA). In addition to cluster assignments, the method returns an estimate of the set of features relevant for clustering. Our results indicate that the sample complexity of clustering depends on the sparsity of the relevant feature set, while only scaling logarithmically with the ambient dimension. Additionally, we require much milder assumptions than existing work on clustering in high dimensions. In particular, we do not require spherical clusters nor necessitate mean separation along relevant dimensions.

研究动机与目标

• 解决高维聚类中特征选择缺乏理论保证的问题，特别是针对非球形聚类的情况。
• 克服边际特征选择的局限性，即当相关特征仅在组合中可检测时（例如在非球形高斯分布中）失效的问题。
• 开发一种在最小假设下同时执行聚类和识别相关特征的方法。
• 实现样本复杂度主要依赖于相关特征数量（内在维度），而对总特征数（环境维度）仅呈对数依赖。

提出的方法

• 将稀疏线性判别分析（LDA）与高斯混合模型（GMM）的参数估计相结合，以联合实现聚类和特征选择。
• 采用带ℓ1惩罚的正则化优化框架，以在判别方向上诱导稀疏性，促进相关特征的选择。
• 使用原始-对偶见证论证方法，建立关于特征恢复和聚类性能的理论保证。
• 对均值差和协方差施加结构假设（例如，有界特征值、稀疏判别方向），以确保可识别性。
• 利用集中不等式和受限特征值条件，推导估计误差和聚类损失的界。
• 依赖样本协方差逆进行预白化，但通过利用稀疏性和正则化，确保在高维情形下仍具可行性。

实验结果

研究问题

• RQ1 我们能否设计一种高维非球形高斯混合模型的聚类算法，可证明地识别相关特征，而无需依赖边际特征选择？
• RQ2 当特征数d超过样本数n时，在稀疏性假设下，聚类的最优样本复杂度是多少？
• RQ3 我们能否在弱于球形聚类或单个特征上均值分离的假设下，实现特征恢复和聚类一致性？
• RQ4 在非球形GMM中，样本复杂度如何随相关特征数（s）和环境维度（d）变化？
• RQ5 是否可能通过单步优化框架实现聚类中同时进行特征选择的统计效率？

主要发现

• 该方法实现了样本复杂度 $ n = \tilde{\theta}(s^6 /\log d) $ 的阶，其中 $ s $ 为相关特征数，$ d $ 为环境维度，表明其依赖于稀疏性而非维度。
• 聚类损失 $ L(\tilde{\rho}) $ 的界为 $ \tilde{O}(\rho^{-1/2}) $，该界依赖于信噪比 $ \rho = \boldsymbol{\beta}^\top \boldsymbol{\theta}^{-1} \boldsymbol{\beta} $，表明随着 $ \rho $ 增大，结果趋于一致。
• 在条件 (A4) 下可保证特征恢复，即判别方向 $ \boldsymbol{\beta} $ 的非零分量足够大，确保 $ \text{supp}(\boldsymbol{\beta}) = \text{supp}(\tilde{\boldsymbol{\beta}}) $。
• $ \boldsymbol{\beta} $-估计误差满足 $ \big\bracevert \boldsymbol{\beta} - \tilde{\boldsymbol{\beta}} \big\bracevert_\text{infty} \triangleq \frac{2\theta \big\bracevert \boldsymbol{\beta} \big\bracevert_1 \big\bracevert \boldsymbol{\beta} \big\bracevert_2}{\text{min eigenvalue}} $，表明以高概率收敛。
• 该方法无需假设球形聚类或单个特征上的均值分离，与先前工作不同，并且在 $ n \nless d $ 时避免了预白化的需求。
• 在受限特征值条件下，理论界是紧致的，且通过原始-对偶见证论证建立了支持恢复，优于现有高维聚类中的一致性结果。