[论文解读] Discriminative variable selection for clustering with the sparse Fisher-EM algorithm

Charles Bouveyron, Camille Brunet|arXiv (Cornell University)|Apr 10, 2012

Bayesian Methods and Mixture Models被引用 8

一句话总结

本文提出稀疏Fisher-EM算法，这是一种新颖的聚类判别变量选择方法，通过在Fisher-EM框架中引入ℓ₁-惩罚稀疏性，高效识别出高维数据中能最好区分聚类的少量有意义变量，相比现有方法在速度和稀疏性方面表现更优，同时实现可解释的低维可视化，并成功应用于火星高光谱图像分割。

ABSTRACT

The interest in variable selection for clustering has increased recently due to the growing need in clustering high-dimensional data. Variable selection allows in particular to ease both the clustering and the interpretation of the results. Existing approaches have demonstrated the efficiency of variable selection for clustering but turn out to be either very time consuming or not sparse enough in high-dimensional spaces. This work proposes to perform a selection of the discriminative variables by introducing sparsity in the loading matrix of the Fisher-EM algorithm. This clustering method has been recently proposed for the simultaneous visualization and clustering of high-dimensional data. It is based on a latent mixture model which fits the data into a low-dimensional discriminative subspace. Three different approaches are proposed in this work to introduce sparsity in the orientation matrix of the discriminative subspace through $\ell_{1}$-type penalizations. Experimental comparisons with existing approaches on simulated and real-world data sets demonstrate the interest of the proposed methodology. An application to the segmentation of hyperspectral images of the planet Mars is also presented.

研究动机与目标

• 解决高维数据聚类中大多数变量无关导致性能下降和可解释性降低的挑战。
• 克服现有变量选择方法的局限性，这些方法要么过慢（如贝叶斯方法），要么稀疏性不足（如惩罚似然方法）。
• 开发一种聚类方法，通过在低维潜在子空间中识别判别特征，同时实现降维和变量选择。
• 在保持或提升聚类准确率的同时，提高高维聚类中的计算效率和稀疏性控制。

提出的方法

• 在Fisher-EM算法的载荷矩阵中引入ℓ₁型惩罚，以在判别子空间投影中诱导稀疏性。
• 提出三种基于ℓ₁-惩罚优化的稀疏性诱导策略，以控制所选变量的数量。
• 采用类似EM的迭代过程，其中F步通过在稀疏性约束下最大化约束Fisher准则来估计判别子空间投影矩阵。
• 应用惩罚BIC准则选择最优稀疏度水平，平衡模型拟合与复杂度。
• 将变量选择直接整合到聚类过程中，避免单独的特征选择步骤。
• 实现低维判别空间中的聚类可视化，该空间反映最具信息量的变量。

实验结果

研究问题

• RQ1 ℓ₁-惩罚正则化是否能有效在Fisher-EM算法的载荷矩阵中诱导稀疏性，从而仅选择最具判别性的变量？
• RQ2 与现有变量选择方法相比，稀疏Fisher-EM算法在聚类准确率和稀疏性方面的表现如何？
• RQ3 在传统方法变得不可行的高维设置下，该方法是否保持计算效率？
• RQ4 所选变量在真实应用场景（如高光谱图像分析）中是否具有有意义的可解释性？
• RQ5 在具有稀疏性的基于模型聚类背景下，惩罚BIC准则是否有效用于选择最优稀疏度水平？

主要发现

• 稀疏FEM算法在稀疏性与聚类性能之间取得良好平衡，所选变量数量处于中间水平——既不过少也不过多，优于Clustvarsel、Selvarclust或sparse-kmeans等现有方法。
• 与贝叶斯变量选择方法相比，该方法显著减少了计算时间，使其适用于高维数据。
• 在火星高光谱图像数据集上，稀疏FEM仅使用256个波长中的8个判别波长，即实现了与专家分割60.30%的一致性。
• 所选的8个波长被证明高度信息丰富：每个后续变量均提升了对更具体矿物类别分组的区分能力。
• 结果表明，未来数据采集可从每个像素数十秒缩短至1秒以内，仅测量这8个选定波长即可。
• 该方法成功识别出可解释的、具有物理意义的光谱波段，能够区分行星表面数据中不同矿物学类别的特征。