[论文解读] Influential Feature PCA for high dimensional clustering

Jiashun Jin, Wanjie Wang|arXiv (Cornell University)|Jul 20, 2014

Sparse and Compressive Sensing Techniques参考文献 47被引用 7

一句话总结

该论文提出了一种无需调参的聚类方法——影响特征主成分分析（IF-PCA），适用于高维数据 $ p \gg n $ 的情形。该方法选取KS统计量最高的特征，对筛选后的标准化数据应用主成分分析（PCA），并在前 $ K-1 $ 个奇异向量上执行k-means聚类。该方法实现了聚类一致性，且在基因微阵列数据集上表现优于现有方法，错误率最高降低达71%。

ABSTRACT

We consider a clustering problem where we observe feature vectors $X_i \in R^p$, $i = 1, 2, \ldots, n$, from $K$ possible classes. The class labels are unknown and the main interest is to estimate them. We are primarily interested in the modern regime of $p \gg n$, where classical clustering methods face challenges. We propose Influential Features PCA (IF-PCA) as a new clustering procedure. In IF-PCA, we select a small fraction of features with the largest Kolmogorov-Smirnov (KS) scores, where the threshold is chosen by adapting the recent notion of Higher Criticism, obtain the first $(K-1)$ left singular vectors of the post-selection normalized data matrix, and then estimate the labels by applying the classical k-means to these singular vectors. It can be seen that IF-PCA is a tuning free clustering method. We apply IF-PCA to $10$ gene microarray data sets. The method has competitive performance in clustering. Especially, in three of the data sets, the error rates of IF-PCA are only $29\%$ or less of the error rates by other methods. We have also rediscovered a phenomenon on empirical null by \cite{Efron} on microarray data. With delicate analysis, especially post-selection eigen-analysis, we derive tight probability bounds on the Kolmogorov-Smirnov statistics and show that IF-PCA yields clustering consistency in a broad context. The clustering problem is connected to the problems of sparse PCA and low-rank matrix recovery, but it is different in important ways. We reveal an interesting phase transition phenomenon associated with these problems and identify the range of interest for each.

研究动机与目标

• 解决特征数 $ p $ 远大于样本数 $ n $ 的高维聚类挑战，此类情形下经典方法失效。
• 开发一种对噪声鲁棒且能有效识别区分各类别的稀疏影响特征的聚类方法。
• 在广泛的统计背景下实现聚类一致性，特别是在高维渐近条件下。
• 通过将高阶临界阈值法适配至特征选择，引入一种数据驱动的无需调参方法，避免人工参数调优。
• 在真实世界基因微阵列数据集上展示强大实证性能，多个基准测试中优于现有方法。

提出的方法

• 基于类间均值的Kolmogorov-Smirnov（KS）检验统计量，选择最具判别力的特征，以用于聚类。
• 对所选特征进行标准化处理，使其在样本上均值为零、方差为一，形成降维后的数据矩阵。
• 对标准化后的数据矩阵应用标准PCA，提取前 $ K-1 $ 个左奇异向量，以捕捉主导的聚类结构。
• 在前 $ K-1 $ 个奇异向量上执行经典的k-means聚类，以估计类别标签。
• 基于高阶临界统计量设计数据驱动的特征选择阈值，无需人工调参。
• 利用后筛选谱分析与特征值界，建立在稀疏性与高维渐近条件下的理论聚类一致性。

实验结果

研究问题

• RQ1 基于Kolmogorov-Smirnov统计量的特征选择方法，能否有效识别高维聚类中的最具信息量特征？
• RQ2 在 $ p \gg n $ 设置下，采用高阶临界法进行阈值选择的无需调参方法，是否能实现具有竞争力的聚类性能？
• RQ3 在结合特征选择与后筛选PCA时，聚类一致性的理论保证是什么？
• RQ4 在具有已知真实标签的真实基因微阵列数据集上，IF-PCA与现有聚类方法相比表现如何？
• RQ5 该方法是否能揭示或恢复微阵列数据中已知的现象，如经验零分布？

主要发现

• 在10个基因微阵列数据集上，IF-PCA实现了具有竞争力的聚类性能，其中在三个数据集中错误率低于其他方法的29%。
• 该方法成功复现了Efron（2004）描述的经验零现象，验证了其对细微信号结构的敏感性。
• 理论分析在一大类高维模型下建立了聚类一致性，对后筛选特征值提供了紧密的概率界。
• IF-PCA在聚类性能上表现出相变行为，其表现取决于信号强度与稀疏性，且该行为可被理论刻画。
• 通过高阶临界法实现的数据驱动阈值化确保了最优特征选择而无需调参，使IF-PCA完全自动化。
• 后筛选谱分析表明，标准化数据矩阵的前 $ K-1 $ 个奇异向量保留了实现一致聚类所需的充分信息。