[论文解读] Feature Selection For High-Dimensional Clustering

Larry Wasserman, Martin Azizyan+1 more|arXiv (Cornell University)|Jun 9, 2014

Bayesian Methods and Mixture Models参考文献 18被引用 9

一句话总结

本文提出了一种用于高维聚类的非参数特征选择方法，结合多模态性检验与基于密度峰的聚类。该方法首次为基于密度峰的聚类提供了理论误差界，并在边际特征假设下建立了聚类损失和Hausdorff距离的严格风险保证。

ABSTRACT

We present a nonparametric method for selecting informative features in high-dimensional clustering problems. We start with a screening step that uses a test for multimodality. Then we apply kernel density estimation and mode clustering to the selected features. The output of the method consists of a list of relevant features, and cluster assignments. We provide explicit bounds on the error rate of the resulting clustering. In addition, we provide the first error bounds on mode based clustering.

研究动机与目标

• 解决高维聚类中特征选择缺乏理论保证的问题，这与分类和回归中已建立的方法形成对比。
• 开发一种两步法：首先通过边际分布的多模态性检验筛选出无信息特征。
• 在所选特征上应用基于密度峰的聚类，通过密度峰识别聚类，确保非参数且灵活的方法。
• 为聚类误差和真实与估计峰点之间的Hausdorff距离提供明确的风险界，填补基于密度峰聚类的理论空白。
• 建立方法在高维设置下实现一致特征恢复和准确聚类的条件。

提出的方法

• 对每个特征的边际分布使用多模态性检验——具体为Dip检验或超额质量检验——以检验单峰性原假设与多峰性对立假设。
• 若Dip统计量超过临界值 $ c_{n, ilde{ heta}} $，其中 $ ilde{ heta} = \alpha / (nd) $，则拒绝原假设，以识别信息特征。
• 选择具有 $ k_j > 1 $ 个峰的特征集合 $ R $，作为聚类的相关特征子集。
• 对所选特征使用带宽 $ h $ 进行核密度估计：$ \widehat{p}_h(y) = \frac{1}{n} \sum_{i=1}^n \frac{1}{h^r} K\left( \frac{||Y_i - y||}{h} \right) $。
• 估计核密度的峰点 $ \widehat{\mathcal{M}} $，并使用均值漂移算法将每个数据点分配给其最近的峰点。
• 输出估计的峰点、聚类分配以及相关特征集合 $ R $，其中聚类由峰点的吸引域定义。

实验结果

研究问题

• RQ1 我们能否在不依赖强参数或稀疏性假设的前提下，为高维聚类开发一种理论基础坚实的特征选择方法？
• RQ2 基于密度峰的聚类在聚类损失和Hausdorff距离方面的理论误差界是什么？
• RQ3 边际多模态性检验在高维数据中识别聚类相关特征方面的有效性如何？
• RQ4 在何种条件下，该方法能实现真实特征支持的一致恢复和准确聚类？
• RQ5 我们能否在温和正则性条件下建立聚类误差的极小化最大最优性或近似最优率？

主要发现

• 该方法的聚类损失界为 $ O_p\left( \sqrt{ \frac{\log n}{n h^{s+2}} } \right) $，明确体现了带宽和维度的影响。
• 真实峰点与估计峰点之间的Hausdorff距离被限制在 $ O_p\left( \sqrt{ \eta_0 } \right) $，其中 $ \eta_0 $ 捕获了密度梯度估计误差。
• Dip检验的假阴性率随样本量对数减小，表明其统计功效随 $ 1/\alpha $ 以对数速率增加。
• 在模拟实验中，该方法以高概率正确恢复了多模态特征的真实支持，所有错误均源于保守的特征剔除（即 $ \widehat{S} \subseteq S $）。
• 理论界表明，在边际特征假设（A4）下，当 $ n \to \infty $ 时，该方法以高概率实现一致的特征选择和聚类。
• 本文首次为基于密度峰的聚类提供了风险界，建立了此前文献中缺失的理论基础。