[论文解读] Stochastic Dimensionality Reduction for K-means Clustering

Christos Boutsidis, Anastasios Zouzias+2 more|arXiv (Cornell University)|Oct 13, 2011

Face and Expression Recognition参考文献 25被引用 14

一句话总结

本文提出了首个针对k-means聚类的可证明准确的特征选择方法，以及两种基于随机投影和快速近似SVD的新颖随机化特征提取技术。所有三种方法均以常数概率实现k-means目标的常数因子近似保证，相较于先前方法在理论准确性与效率方面均有提升。

ABSTRACT

We study the topic of dimensionality reduction methods for k-means clustering. Dimensionality reduction encompasses the union of two approaches; feature selection and feature extraction. First, feature selection selects a small subset of actual features from the data and then runs the clustering algorithm only on the selected features. Second, feature extraction constructs a small set of new artificial features and then runs the clustering algorithm only on the constructed features. Despite the significance of the problem as well as the wealth of heuristic methods addressing it there exist no provably accurate feature selection methods. On the other hand, two provably accurate feature extraction methods for k-means exist: the first one is randomized and is based on Random Projections; the other, is deterministic and it is based on the Singular Value Decomposition. This paper addresses this shortcoming by presenting the first provably accurate feature selection method for k-means clustering. We also present two novel feature extraction methods: the first one is based on Random Projections and improves the existing result in terms of speed and number of features needed to be extracted; the other is based on fast approximate SVD factorizations and improves the existing result in terms of speed. All three methods of our work are randomized and, with constant probability, provide constant-factor approximation guarantees with respect to the optimal k-means objective value.

研究动机与目标

• 为解决尽管已有启发式与理论方法，但k-means聚类中缺乏可证明准确的特征选择方法这一问题。
• 开发具有聚类质量理论保证的随机化特征选择与特征提取技术。
• 在速度与实现常数因子近似所需的特征数量方面，优于现有特征提取方法。
• 建立统一的随机化降维方法框架，确保k-means聚类具有强近似保证。
• 弥合k-means聚类中启发式特征选择与可证明准确特征提取之间的理论差距。

提出的方法

• 提出一种随机化特征选择方法，通过基于数据结构的概率分布从原始特征中选择子集，确保对最优k-means目标的常数因子近似。
• 提出一种基于随机投影的新特征提取方法，通过降维保留聚类结构，相较于先前的随机化方法，提升了速度并减少了所需特征数量。
• 开发一种基于快速近似SVD的特征提取技术，加速计算并减少运行时间，同时保持理论近似保证。
• 采用随机化降维技术，以常数概率确保所得k-means目标值在最优解的常数因子范围内。
• 结合理论分析与概率采样，利用集中不等式与谱性质推导近似质量的边界。
• 采用两阶段流程：首先通过随机投影或SVD进行降维；其次在降维空间中执行k-means聚类，并附带理论性能保证。

实验结果

研究问题

• RQ1 能否为k-means聚类设计一种可证明准确的特征选择方法，从而填补理论保证中的关键空白？
• RQ2 能否在保持常数因子近似保证的前提下，提升随机化特征提取方法的速度与特征压缩能力？
• RQ3 所提方法是否在计算效率与聚类准确性之间实现了优于现有方法的权衡？
• RQ4 是否可能在单一随机化框架下统一特征选择与特征提取，并具备强理论性能保证？

主要发现

• 所提出的特征选择方法是首个为k-means聚类提供可证明常数因子近似保证的方法，解决了长期存在的理论空白。
• 基于随机投影的特征提取方法在减少所需特征数量与提升运行效率方面优于现有随机化方法。
• 基于快速近似SVD的方法在计算速度上优于传统SVD-based提取方法，同时保持相同的理论近似质量。
• 所有三种方法——特征选择与两种特征提取技术——均以常数概率实现对最优k-means目标的常数因子近似。
• 理论分析证实，即使在显著降维后，这些方法仍能保持聚类质量，确保鲁棒性与可扩展性。