[论文解读] Randomized Dimensionality Reduction for k-means Clustering

Christos Boutsidis, Anastasios Zouzias+2 more|arXiv (Cornell University)|Oct 13, 2011

Face and Expression Recognition参考文献 28被引用 29

一句话总结

本文提出了首个针对k均值聚类的可证明准确的特征选择方法，以及两种基于随机投影和快速近似SVD的改进特征提取技术。所提出的随机化算法在显著降低计算成本和维度的同时，为k均值目标函数提供了常数因子近似保证，从而实现了高维数据上高效且准确的聚类。

ABSTRACT

We study the topic of dimensionality reduction for $k$-means clustering. Dimensionality reduction encompasses the union of two approaches: \emph{feature selection} and \emph{feature extraction}. A feature selection based algorithm for $k$-means clustering selects a small subset of the input features and then applies $k$-means clustering on the selected features. A feature extraction based algorithm for $k$-means clustering constructs a small set of new artificial features and then applies $k$-means clustering on the constructed features. Despite the significance of $k$-means clustering as well as the wealth of heuristic methods addressing it, provably accurate feature selection methods for $k$-means clustering are not known. On the other hand, two provably accurate feature extraction methods for $k$-means clustering are known in the literature; one is based on random projections and the other is based on the singular value decomposition (SVD). This paper makes further progress towards a better understanding of dimensionality reduction for $k$-means clustering. Namely, we present the first provably accurate feature selection method for $k$-means clustering and, in addition, we present two feature extraction methods. The first feature extraction method is based on random projections and it improves upon the existing results in terms of time complexity and number of features needed to be extracted. The second feature extraction method is based on fast approximate SVD factorizations and it also improves upon the existing results in terms of time complexity. The proposed algorithms are randomized and provide constant-factor approximation guarantees with respect to the optimal $k$-means objective value.

研究动机与目标

• 为解决k均值聚类中缺乏理论基础的特征选择方法的问题，此前的方法仅依赖启发式方法。
• 开发可证明准确的降维技术，以在降低计算复杂度的同时保持聚类结构。
• 在时间复杂度和所需特征数量方面，改进基于随机投影和SVD的现有特征提取方法。
• 建立k均值聚类与低秩矩阵逼近之间的理论联系，以设计高效算法。
• 在合成数据集和真实世界数据集上对所提方法进行实验验证，展示其在降低维度后仍具有高准确性和高速度。

提出的方法

• 提出一种随机化特征选择方法，基于特征对k均值目标函数的贡献度，通过采样技术确保近似保证。
• 引入一种基于随机投影的特征提取方法，通过降维在常数因子内保持k均值目标函数，且时间复杂度优于先前方法。
• 开发第二种基于快速近似SVD的特征提取方法，用于计算数据矩阵的低秩逼近，从而实现更快的计算和更好的可扩展性。
• 通过理论分析将k均值聚类与低秩矩阵逼近联系起来，从而支持设计具有可证明性能边界的算法。
• 使用随机化算法高效计算所需的投影和低秩因子，确保运行时间相比精确方法有显著提升。
• 采用两阶段流程：首先通过特征选择或特征提取进行降维，然后在降维后的数据上运行标准k均值聚类。

实验结果

研究问题

• RQ1 在先前研究中缺乏此类方法的前提下，能否设计出一种可证明准确的k均值聚类特征选择方法？
• RQ2 能否使基于随机投影的特征提取更高效，同时保持对最优k均值目标函数的常数因子近似？
• RQ3 能否利用快速近似SVD设计出一种更快且可证明准确的k均值聚类特征提取方法？
• RQ4 所提出的随机化降维技术在客观值、运行时间和聚类准确率方面，与现有方法相比如何？
• RQ5 在具有理论保证的前提下，低维表示在多大程度上能保留高维数据的聚类结构？

主要发现

• 所提出的特征选择方法是k均值聚类中首个可证明准确的方法，确保对最优目标值的常数因子近似。
• 基于随机投影的特征提取方法在降低时间复杂度的同时，所需特征数少于先前方法，且保持了近似保证。
• 基于快速近似SVD的方法进一步提升了时间复杂度，使其在大规模数据集上更具可扩展性。
• 在合成数据集和真实世界数据集（PIE、ORL、COIL20）上的实验表明，所提方法在仅20–30个投影维度时即可达到接近最优的目标值。
• 在大多数情况下，所提方法优于Laplacian Scores，但在PIE和COIL20数据集上Laplacian Scores表现出更优的准确性，可能是因为这些数据集的聚类结构不够清晰。
• 运行时间并非随维度单调增加，这是由于降维后k均值聚类的收敛速率存在差异，尽管这并非评估的重点。