[论文解读] Model-based clustering of Gaussian copulas for mixed data

Matthieu Marbac, Christophe Biernacki+1 more|arXiv (Cornell University)|May 6, 2014

Bayesian Methods and Mixture Models参考文献 35被引用 4

一句话总结

本文提出一种高斯配克拉混合模型用于混合类型数据（连续型、整数型和有序型变量）的聚类，利用配克拉将边缘分布与组内相关性分别建模。该方法通过潜变量上的主成分分析实现可解释的聚类与有意义的可视化，相较于独立分量模型，有效降低了偏差和分量数量，同时在多种数据类型下保持灵活性。

ABSTRACT

Clustering task of mixed data is a challenging problem. In a probabilistic framework, the main difficulty is due to a shortage of conventional distributions for such data. In this paper, we propose to achieve the mixed data clustering with a Gaussian copula mixture model, since copulas, and in particular the Gaussian ones, are powerful tools for easily modelling the distribution of multivariate variables. Indeed, considering a mixing of continuous, integer and ordinal variables (thus all having a cumulative distribution function), this copula mixture model defines intra-component dependencies similar to a Gaussian mixture, so with classical correlation meaning. Simultaneously, it preserves standard margins associated to continuous, integer and ordered features, namely the Gaussian, the Poisson and the ordered multinomial distributions. As an interesting by-product, the proposed mixture model generalizes many well-known ones and also provides tools of visualization based on the parameters. At a practical level, the Bayesian inference is retained and it is achieved with a Metropolis-within-Gibbs sampler. Experiments on simulated and real data sets finally illustrate the expected advantages of the proposed model for mixed data: flexible and meaningful parametrization combined with visualization features.

研究动机与目标

• 为使用概率框架对混合类型数据（连续型、整数型、有序型）进行聚类提供解决方案。
• 通过利用高斯配克拉，克服混合数据缺乏传统多元分布的局限。
• 通过保留标准边缘分布（高斯分布用于连续型，泊松分布用于整数型，有序多项分布用于有序型）确保分量参数的可解释性。
• 基于模型参数开发可视化工具，以增强对聚类的可解释性。
• 构建一种稳健的贝叶斯推断框架，以处理具有依赖关系和缺失值的混合数据。

提出的方法

• 使用高斯配克拉对每个分量建模，将边缘分布与依赖结构解耦。
• 保留标准边缘分布：连续型变量使用高斯分布，整数型变量使用泊松分布，有序型变量使用有序多项分布。
• 利用配克拉的潜变量实现各分量内个体的类似主成分分析的可视化。
• 采用“吉布斯内梅特罗波利斯”采样器进行贝叶斯推断，简化在混合边缘分布下的估计过程。
• 引入同方差变体，通过假设各分量间具有相同的相关矩阵来减少参数数量。
• 对吉布斯采样器进行改进，以在缺失值随机缺失的假设下处理缺失数据。

实验结果

研究问题

• RQ1 高斯配克拉混合模型能否在保留可解释边缘分布的前提下，有效对混合类型数据进行聚类？
• RQ2 与局部独立混合模型相比，该模型在偏差和分量数量方面表现如何？
• RQ3 配克拉的潜结构是否能实现对聚类特异性模式的有意义可视化？
• RQ4 该模型在多大程度上推广了对同质数据的有限混合模型？
• RQ5 当模型拟合由其他模型生成的数据时，其稳健性如何？

主要发现

• 该模型成功对混合数据进行聚类，识别出三类显著的火灾行为：不可预测火灾（占数据的9%）、可预测的夏季火灾（78%）和冬季火灾（13%），各类火灾均具有可解释的边缘分布与相关结构。
• 与局部独立模型相比，高斯配克拉混合模型显著减少了所需分量数量，表明其偏差更低且模型拟合更优。
• 通过潜变量上的主成分分析进行可视化，清晰地将第3类（冬季火灾）与其他类别区分开来，凸显其独特的分布特征。
• 相关矩阵揭示了有意义的依赖关系，例如冬季火灾中FFMC与DMC值之间的关联，以及高温与夏季火灾条件之间的关联。
• 该模型在拟合由其他模型生成的数据时表现出稳健性，表明其具备良好的泛化能力。
• 同方差变体在不损失模型性能的前提下减少了参数数量，提供了一种更简洁的替代方案。