[论文解读] Finite mixture model of conditional dependencies modes to cluster categorical data

Matthieu Marbac, Christophe Biernacki+1 more|arXiv (Cornell University)|Feb 20, 2014

Bayesian Methods and Mixture Models参考文献 31被引用 6

一句话总结

本文提出条件模式模型（CMM），一种简洁的有限混合模型，通过将分类变量分组为条件独立的块，放宽了传统潜在类别模型的条件独立性假设。该模型通过少数主导模式交叉来总结每个类别，并将剩余概率质量均匀分配，从而在减少因违反条件独立性而导致的过拟合偏差的同时，实现可解释的聚类。

ABSTRACT

We propose a parsimonious extension of the classical latent class model to cluster categorical data by relaxing the class conditional independence assumption. Under this new mixture model, named Conditional Modes Model, variables are grouped into conditionally independent blocks. The corresponding block distribution is a parsimonious multinomial distribution where the few free parameters correspond to the most likely modality crossings, while the remaining probability mass is uniformly spread over the other modality crossings. Thus, the proposed model allows to bring out the intra-class dependency between variables and to summarize each class by a few characteristic modality crossings. The model selection is performed via a Metropolis-within-Gibbs sampler to overcome the computational intractability of the block structure search. As this approach involves the computation of the integrated complete-data likelihood, we propose a new method (exact for the continuous parameters and approximated for the discrete ones) which avoids the biases of the extsc{bic} criterion pointed out by our experiments. Finally, the parameters are only estimated for the best model via an extsc{em} algorithm. The characteristics of the new model are illustrated on simulated data and on two biological data sets. These results strengthen the idea that this simple model allows to reduce biases involved by the conditional independence assumption and gives meaningful parameters. Both applications were performed with the R package exttt{CoModes}

研究动机与目标

• 解决在将经典潜在类别模型应用于分类数据时，因条件独立性假设而引入的偏差问题。
• 开发一种简洁而灵活的模型，能够在不过度参数化的情况下捕捉类别内分类变量之间的依赖关系。
• 在传统方法因计算不可行而失效的高维分类数据场景中，实现模型选择与参数估计。
• 提供一种方法，识别由变量块内主导模式交叉所表征的有意义且可解释的聚类。
• 通过 R 包 CoModes 提供实用实现，以在真实世界生物数据和模拟数据上进行应用。

提出的方法

• 该模型将分类变量划分为条件独立的块，其中每个块的分布为稀疏多项分布，其参数由最可能的模式交叉定义。
• 剩余的概率质量在未观测到的模式组合上均匀分配，从而在保持灵活性的同时实现简洁性。
• 使用吉布斯内梅特罗波利斯采样器探索块结构与模式配置的组合空间，以克服计算上的不可行性。
• 通过精确方法计算连续参数的完整数据后验似然，对离散参数使用近似方法，避免 BIC 准则固有的偏差。
• 基于该似然准则进行模型选择，随后在最优拟合模型上使用 EM 算法完成最终参数估计。
• 假设块结构在各类别间保持一致，以确保模型的通用可识别性。

实验结果

研究问题

• RQ1 一种放宽条件独立性的有限混合模型，是否能提升分类数据聚类的准确性和可解释性？
• RQ2 如何在不导致过度参数化或计算成本过高的情况下，有效建模类别内分类变量之间的依赖关系？
• RQ3 所提出的基于完整数据后验似然的模型选择方法，是否在选择正确类别数和块结构方面优于 BIC？
• RQ4 当条件独立性被违反时，CMM 相较于经典潜在类别模型，能在多大程度上减少对类别数量的过度估计？
• RQ5 该模型是否能在真实生物数据集中识别出由变量块内主导模式交叉所表征的有意义且可解释的聚类？

主要发现

• 条件模式模型（CMM）成功减少了因条件独立性假设而引入的偏差，尤其在变量存在条件依赖时效果显著。
• 在模拟数据中，CMM 正确识别出真实类别数和块结构，而经典潜在类别模型（cim）则高估了类别数量。
• 在生物数据集中，CMM 的三类别划分呈现出清晰且可解释的结构：类别 1（42%）无恶心或腰痛，类别 2（34%）有腰痛但无恶心，类别 3（24%）同时具有恶心、腰痛、发热和排尿疼痛。
• 混淆矩阵显示，CMM 的划分结果比 cim 更为一致且分离更清晰，尤其在主导类别（类别 3）中表现更优。
• BIC 准则在模型选择中存在偏差，而所提出的完整数据后验似然方法提供了更准确的结果。
• R 包 CoModes 成功实现了该模型，使模拟数据和真实数据的可重现分析与参数估计成为可能。