[论文解读] Clustering with feature selection using alternating minimization, Application to computational biology

Cyprien Gilet, Marie Deprez+2 more|arXiv (Cornell University)|Nov 8, 2017

Sparse and Compressive Sensing Techniques参考文献 52被引用 10

一句话总结

该论文提出 k-sparse，一种交替最小化算法，通过 ℓ¹ 约束的投影-梯度优化强制实施稀疏性，联合执行高维数据的聚类与特征选择。在单细胞 RNA-seq 数据集上，其准确率最高达 100%，运行时间快 5–10 倍，同时保持样本规模的线性可扩展性，优于 PCA-k-means、谱聚类、SIMLR 和 Sparcl。

ABSTRACT

This paper deals with unsupervised clustering with feature selection. The problem is to estimate both labels and a sparse projection matrix of weights. To address this combinatorial non-convex problem maintaining a strict control on the sparsity of the matrix of weights, we propose an alternating minimization of the Frobenius norm criterion. We provide a new efficient algorithm named K-sparse which alternates k-means with projection-gradient minimization. The projection-gradient step is a method of splitting type, with exact projection on the $\ell^1$ ball to promote sparsity. The convergence of the gradient-projection step is addressed, and a preliminary analysis of the alternating minimization is made. The Frobenius norm criterion converges as the number of iterates in Algorithm K-sparse goes to infinity. Experiments on Single Cell RNA sequencing datasets show that our method significantly improves the results of PCA k-means, spectral clustering, SIMLR, and Sparcl methods, and achieves a relevant selection of genes. The complexity of K-sparse is linear in the number of samples (cells), so that the method scales up to large datasets.

研究动机与目标

• 通过将特征选择直接整合到聚类过程中，解决无监督聚类中的维度灾难问题。
• 在不依赖调节拉格朗日参数的情况下，严格控制投影矩阵中的稀疏性。
• 开发一种适合大规模单细胞基因组学数据集的可扩展、高效算法。
• 通过 ℓ¹ 正则化选择生物相关特征（例如基因），提升聚类的准确率与可解释性。

提出的方法

• 该方法在投影数据上交替执行 k-means 聚类与投影-梯度步骤，以优化稀疏投影矩阵 W。
• 投影-梯度步骤通过将解精确投影到 ℓ¹ 球上，强制实现 ℓ¹ 稀疏性，确保所选特征数量的可控性。
• 在满足聚类成员关系（Y）、非空聚类以及 W 的 ℓ¹ 范数 ≤ η 的约束下，最小化 Frobenius 范数准则。
• 该算法采用分裂型优化方案，结合精确投影，以保持稀疏性并确保梯度-投影子问题的收敛性。
• 该方法设计为与样本数量呈线性可扩展性，随着迭代过程中稀疏性的增加，利用稀疏矩阵运算提升效率。
• 该框架在单一优化循环中集成降维与特征选择，避免了 PCA 等单独预处理步骤。

实验结果

研究问题

• RQ1 使用 ℓ¹ 约束投影的交替最小化能否提升高维单细胞 RNA-seq 数据中的聚类准确率？
• RQ2 与依赖拉格朗日参数调节的方法相比，显式控制 ℓ¹ 稀疏性是否能带来更优的特征选择与可解释性？
• RQ3 在真实生物数据集上，所提出的 k-sparse 算法与 SIMLR、Sparcl 和 PCA-k-means 等成熟方法相比，在准确率与运行时间上的表现如何？
• RQ4 该算法能否在保持高聚类性能的同时，高效扩展至大规模数据集？

主要发现

• 在 Klein 数据集（2,717 个细胞，10,322 个基因，4 个聚类）上，k-sparse 达到 99.33% 的准确率、98.77% 的 ARI 和 0.97 的 NMI，优于 SIMLR 与 Sparcl，且运行时间快 5 倍。
• 在 Zeisel 数据集（3,005 个细胞，7,364 个基因，9 个聚类）上，k-sparse 达到 83.26% 的准确率与 75.06% 的 ARI，准确率比 SIMLR 高 11%，ARI 高 20%。
• 当 η = 20,000 时，k-sparse 在 Klein 数据集上仅选择了 4,599 个基因，展现出高效的特征选择与高度稀疏性。
• 在 Klein 数据集上，k-sparse 比 SIMLR 快 8 倍，在 Zeisel 数据集上快 10 倍，且聚类质量显著优于 Large SIMLR。
• t-SNE 可视化结果表明，k-sparse 生成了紧凑且高度分离的聚类，而 SIMLR 与 Sparcl 在 Usoskin 数据集中未能恢复出一个聚类。
• 该算法在约 10 次迭代内收敛，计算复杂度与样本数量呈线性关系，使其能够高效扩展至大规模单细胞基因组学应用。