[论文解读] A robust and sparse K-means clustering algorithm

Yumi Kondo, Matías Salibián‐Barrera+1 more|arXiv (Cornell University)|Jan 29, 2012

Gene expression and cancer classification参考文献 9被引用 13

一句话总结

本文提出 RSKC，一种鲁棒且稀疏的 K-means 聚类算法，通过结合截断 K-means 以增强对异常值的抵抗能力，并引入 L1 正则化以实现特征稀疏性。该方法通过仅选择相关特征，有效识别出高维数据中的聚类结构，在仅两个特征具有强聚类信号的合成数据上，其性能优于标准 K-means 和稀疏 K-means。

ABSTRACT

In many situations where the interest lies in identifying clusters one might expect that not all available variables carry information about these groups. Furthermore, data quality (e.g. outliers or missing entries) might present a serious and sometimes hard-to-assess problem for large and complex datasets. In this paper we show that a small proportion of atypical observations might have serious adverse effects on the solutions found by the sparse clustering algorithm of Witten and Tibshirani (2010). We propose a robustification of their sparse K-means algorithm based on the trimmed K-means algorithm of Cuesta-Albertos et al. (1997) Our proposal is also able to handle datasets with missing values. We illustrate the use of our method on microarray data for cancer patients where we are able to identify strong biological clusters with a much reduced number of genes. Our simulation studies show that, when there are outliers in the data, our robust sparse K-means algorithm performs better than other competing methods both in terms of the selection of features and also the identified clusters. This robust sparse K-means algorithm is implemented in the R package RSKC which is publicly available from the CRAN repository.

研究动机与目标

• 解决标准 K-means 在存在无关或噪声特征的高维数据中应用时的局限性。
• 通过截断减少对异常值的敏感性，提升聚类的鲁棒性。
• 通过 L1 正则化仅选择最相关的特征，提升模型的可解释性。
• 构建一个统一框架，同时实现聚类的鲁棒性与稀疏性。
• 提供一个实用的、公开可获取的 R 包（RSKC），用于高维数据分析的实际应用。

提出的方法

• 该算法采用截断 K-means 方法，通过排除具有最大组内平方和的预设比例观测值来实现。
• 对聚类中心应用 L1 正则化，以诱导稀疏性，仅选择对聚类分离有显著贡献的特征子集。
• 通过一种迭代交替算法求解优化问题，交替执行聚类分配与带稀疏性约束的中心更新。
• 截断步骤可降低异常值的影响，提升在数据污染情况下的稳定性。
• 通过联合最小化组内平方和与中心的 L1 范数，平衡鲁棒性与稀疏性。
• 该算法已实现在 R 包 RSKC 中，发布于 CRAN，支持结果的可重现性与可扩展性分析。

实验结果

研究问题

• RQ1 能否设计一种 K-means 变体，在高维数据中同时对异常值具有鲁棒性并强制实现特征稀疏性？
• RQ2 与标准 K-means 和稀疏 K-means 相比，截断与 L1 正则化的结合对聚类准确率有何影响？
• RQ3 当仅有少数特征携带聚类信号时，该算法在多大程度上能恢复真实的聚类结构？
• RQ4 当特征数量远大于样本数量时，该方法是否仍能保持高性能？
• RQ5 该算法在聚类过程中能否有效识别并排除无关或噪声特征？

主要发现

• 在包含 300 个观测值和 1000 个特征的合成数据上，RSKC 有效恢复了真实的聚类结构，而标准 K-means 未能检测到聚类信号。
• 稀疏 K-means 正确识别出两个聚类特征，并仅对它们分配正权重，展示了有效的特征选择能力。
• 所提出的算法实现了高质量的聚类划分，与真实聚类标签高度一致，如散点图对比所示。
• RSKC 选择的最优权重仅在两个聚类特征上为正，证实该方法成功隔离了相关特征。
• 截断与稀疏性的结合显著提升了鲁棒性与可解释性，且未牺牲聚类准确率。
• R 包 RSKC 已在 CRAN 上公开发布，确保了结果的广泛可及性与可重现性。