[论文解读] Comparing Model Selection and Regularization Approaches to Variable Selection in Model-Based Clustering

Gilles Celeux, Marie‐Laure Martin‐Magniette+2 more|arXiv (Cornell University)|Jul 30, 2013

Bayesian Methods and Mixture Models被引用 29

一句话总结

本文比较了基于模型聚类中变量选择的模型选择（RD-MCM）与正则化（SparseKmeans）方法。通过模拟数据和真实数据，发现模型选择在分类和变量选择准确率方面显著优于正则化方法，尤其是在变量在簇内相关时，且在簇数估计和模型灵活性方面具有优势。

ABSTRACT

We compare two major approaches to variable selection in clustering: model selection and regularization. Based on previous results, we select the method of Maugis et al. (2009b), which modified the method of Raftery and Dean (2006), as a current state of the art model selection method. We select the method of Witten and Tibshirani (2010) as a current state of the art regularization method. We compared the methods by simulation in terms of their accuracy in both classification and variable selection. In the first simulation experiment all the variables were conditionally independent given cluster membership. We found that variable selection (of either kind) yielded substantial gains in classification accuracy when the clusters were well separated, but few gains when the clusters were close together. We found that the two variable selection methods had comparable classification accuracy, but that the model selection approach had substantially better accuracy in selecting variables. In our second simulation experiment, there were correlations among the variables given the cluster memberships. We found that the model selection approach was substantially more accurate in terms of both classification and variable selection than the regularization approach, and that both gave more accurate classifications than $K$-means without variable selection.

研究动机与目标

• 评估并比较模型选择与正则化方法在基于模型聚类中变量选择的性能。
• 确定在不同数据条件下，哪种方法——模型选择或正则化——能产生更准确的聚类和变量选择结果。
• 评估每种方法在不同模拟设置和真实数据集上的鲁棒性与稳定性。
• 考察簇内变量相关性对方法性能的影响。
• 评估每种方法正确选择簇数的能力以及在高维数据中的处理能力。

提出的方法

• 采用RD-MCM方法，一种模型选择方法，通过修改Raftery和Dean（2006）的方法，允许无关变量与相关变量独立，从而提升模型的简洁性与现实性。
• 使用Witten和Tibshirani（2010）提出的SparseKmeans方法，一种基于正则化的变量选择方法，通过将载荷收缩至零来实现变量选择。
• 将两种方法应用于具有条件独立变量和给定簇成员关系下相关变量的模拟数据。
• 使用调整兰德指数（ARI）评估分类准确率，使用真正例率评估变量选择准确率。
• 将结果与不进行变量选择的K-means聚类作为基线进行比较。
• 在真实数据集上验证结果，包括一个波形数据集和一个包含28个基因的转录组基因表达数据集，使用ARI和聚类稳定性指标进行评估。

实验结果

研究问题

• RQ1 当变量条件独立时，模型选择与正则化方法在分类准确率方面如何比较？
• RQ2 簇内变量相关性如何影响模型选择与正则化在聚类中的性能表现？
• RQ3 在现实数据结构下，哪种方法——RD-MCM或SparseKmeans——在变量选择准确率方面表现更优？
• RQ4 模型选择方法能否可靠估计簇数，而正则化方法则需将其作为输入？
• RQ5 每种方法在不同初始化和调参设置下的聚类结果稳定性如何？

主要发现

• 当变量条件独立时，两种变量选择方法均显著提升了K-means的分类准确率，尤其在簇间分离良好时效果更明显。
• 尽管分类性能相似，模型选择方法（RD-MCM）在变量选择准确率方面显著优于正则化方法（SparseKmeans）。
• 在簇内存在变量相关性时，模型选择方法在分类和变量选择准确率方面均显著优于正则化方法。
• 两种变量选择方法均比不进行变量选择的K-means产生更准确的分类结果，但模型选择方法始终表现更优。
• SparseKmeans方法对调参参数高度敏感，导致不同运行间结果不稳定。
• RD-MCM方法产生的聚类划分更稳定，表现为VEE模型下ARI值更高（0.578），而SparseKmeans与K-means之间的ARI值较低（0.349）