[论文解读] Identifying the number of clusters in discrete mixture models

Cláudia Marisa Vasconcelos Silvestre, Margarida G. M. S. Cardoso+1 more|arXiv (Cornell University)|Sep 25, 2014

Bayesian Methods and Mixture Models参考文献 39被引用 8

一句话总结

本文提出了一种EM-MML算法，通过最小消息长度（MML）准则，联合估计参数并选择离散混合模型中类别数据的聚类数量。与传统的信息准则（如BIC）相比，该方法在合成数据和真实世界欧洲社会调查数据上均表现出更快的计算速度、更简洁的解法以及更低的过度估计风险，且具有更好的可解释性。

ABSTRACT

Research on cluster analysis for categorical data continues to develop, with new clustering algorithms being proposed. However, in this context, the determination of the number of clusters is rarely addressed. In this paper, we propose a new approach in which clustering of categorical data and the estimation of the number of clusters is carried out simultaneously. Assuming that the data originate from a finite mixture of multinomial distributions, we develop a method to select the number of mixture components based on a minimum message length (MML) criterion and implement a new expectation-maximization (EM) algorithm to estimate all the model parameters. The proposed EM-MML approach, rather than selecting one among a set of pre-estimated candidate models (which requires running EM several times), seamlessly integrates estimation and model selection in a single algorithm. The performance of the proposed approach is compared with other well-known criteria (such as the Bayesian information criterion-BIC), resorting to synthetic data and to two real applications from the European Social Survey. The EM-MML computation time is a clear advantage of the proposed method. Also, the real data solutions are much more parsimonious than the solutions provided by competing methods, which reduces the risk of model order overestimation and increases interpretability.

研究动机与目标

• 解决有限混合模型在类别数据中确定聚类数量缺乏集成方法的问题。
• 开发一种统一方法，将模型估计与模型选择相结合，避免对候选模型重复运行EM算法。
• 通过生成更简洁的聚类解法，提高可解释性并减少过拟合。
• 在合成数据和真实世界应用（特别是欧洲社会调查数据）上评估性能。
• 展示在恢复真实聚类结构方面具有计算效率和鲁棒性。

提出的方法

• 使用多项分布的有限混合模型对类别数据进行建模，假设每个聚类对应一个独立的多项分布分量。
• 采用最小消息长度（MML）准则作为模型选择准则，以平衡模型拟合度与复杂度。
• 开发一种新型EM算法，将基于MML的分量选择整合到迭代估计过程中，避免预先指定聚类数量。
• 实现EM-MML算法，以同步估计混合分量参数并选择最优聚类数量。
• 将MML准则适配至离散混合模型，偏好能够高效压缩数据且惩罚过拟合的模型。
• 使用分离度量（如Π^k）评估真实数据应用中聚类的区分度。

实验结果

研究问题

• RQ1 EM-MML算法能否在具有不同分离程度的合成类别数据中准确识别出真实的聚类数量？
• RQ2 EM-MML方法在计算效率和解法简洁性方面与BIC及其他信息准则相比如何？
• RQ3 EM-MML方法在真实世界类别数据上是否能产生更具可解释性且更少过拟合的聚类解法？
• RQ4 EM-MML方法在多大程度上降低了估计极小或不稳定的聚类的风险？
• RQ5 EM-MML方法能否有效识别真实调查数据（如欧洲社会调查数据）中的有意义群体？

主要发现

• 与需要多次EM运行的BIC方法相比，EM-MML方法显著提升了计算速度。
• 在合成数据上，EM-MML在不同分离水平下均成功恢复了真实的聚类数量，表现出良好的鲁棒性。
• 在真实数据应用中，EM-MML仅为“满意度”变量选择了7个聚类，而BIC、AIC及其他准则选择了13–18个聚类，表明其解法更简洁。
• EM-MML解法与基础变量的Cramer’s V关联值更高（2.40 vs. 2.18–2.29），表明其具有更好的判别能力与可解释性。
• EM-MML解法在“信任”数据上的分离度量为1.46，在“满意度”数据上为1.26，证实了聚类的良好分离性。
• EM-MML解法通过提高每聚类的平均观测数，减少了与小聚类相关的估计问题。