[论文解读] Hypothesis Testing for Parsimonious Gaussian Mixture Models

Antonio Punzo, Ryan P. Browne+1 more|arXiv (Cornell University)|May 2, 2014

Bayesian Methods and Mixture Models参考文献 38被引用 4

一句话总结

本文提出一种基于参数自展法的似然比检验，用于在高斯简约聚类模型（GPCM）族中选择最优模型，解决了包含八种协方差结构混合模型的模型选择难题。该方法引入了一种封闭检验程序，可同时评估所有模型，相较于传统信息准则，提供了统一的、基于显著性水平的评估方式，并具有可解释的校正p值。

ABSTRACT

Gaussian mixture models with eigen-decomposed covariance structures make up the most popular family of mixture models for clustering and classification, i.e., the Gaussian parsimonious clustering models (GPCM). Although the GPCM family has been used for almost 20 years, selecting the best member of the family in a given situation remains a troublesome problem. Likelihood ratio tests are developed to tackle this problems. These likelihood ratio tests use the heteroscedastic model under the alternative hypothesis but provide much more flexibility and real-world applicability than previous approaches that compare the homoscedastic Gaussian mixture versus the heteroscedastic one. Along the way, a novel maximum likelihood estimation procedure is developed for two members of the GPCM family. Simulations show that the $χ^2$ reference distribution gives reasonable approximation for the LR statistics only when the sample size is considerable and when the mixture components are well separated; accordingly, following Lo (2008), a parametric bootstrap is adopted. Furthermore, by generalizing the idea of Greselin and Punzo (2013) to the clustering context, a closed testing procedure, having the defined likelihood ratio tests as local tests, is introduced to assess a unique model in the general family. The advantages of this likelihood ratio testing procedure are illustrated via an application to the well-known Iris data set.

研究动机与目标

• 解决高斯简约聚类模型（GPCM）族中选择最优模型这一长期存在的问题，该族包含八种协方差结构的混合模型。
• 克服现有方法仅比较同方差与异方差模型的局限性，尤其在多变量设置下。
• 开发一种稳健的统计检验框架，为模型选择提供可靠推断，特别是在渐近近似失效时。
• 提出一种基于似然比检验的封闭检验程序，用于同时评估一般GPCM族中的所有模型，提供一致且可解释的选择过程。
• 提供一种实用且计算可行的模型选择方法，减少对任意信息准则和主观模型选择的依赖。

提出的方法

• 为每个GPCM模型与异方差基准模型在备择假设下构建似然比（LR）检验，实现对一般族中全部八个成员的多变量比较。
• 提出一种新颖的最大似然估计程序，引入特征值排序约束，适用于两种GPCM模型（EEE和VVV），扩展了Celeux和Govaert原始框架。
• 使用参数自展法近似LR检验统计量的抽样分布，因为卡方分布参考在小样本或分量重叠时不可靠。
• 采用基于LR检验的封闭检验程序，遵循Greselin和Punzo（2013）的方法，控制族错误率，评估一般族中的全局最优模型。
• 在真实数据上应用该方法，使用Iris数据集展示模型选择性能与可解释性。
• 利用封闭检验程序中的校正p值量化特征分解中各分量（体积、形状、方向）的显著性，增强模型可解释性。

实验结果

研究问题

• RQ1 似然比检验如何有效扩展至多变量高斯简约混合模型，超越同方差与异方差的比较？
• RQ2 在有限样本中，当GPCM模型的分量存在重叠时，LR检验统计量的卡方近似性能如何？
• RQ3 基于LR检验的封闭检验程序能否为所有八个GPCM模型提供一致且同步的模型选择框架？
• RQ4 与传统信息准则（如AIC、BIC）相比，该方法在模型选择一致性与可解释性方面表现如何？
• RQ5 封闭检验程序中的校正p值在多大程度上可揭示体积、形状与方向在最优GPCM模型中的作用？

主要发现

• 卡方参考分布在小样本或混合分量高度重叠时，对LR检验统计量的近似效果较差，与Lo（2008）在单变量情况下的发现一致。
• 参数自展法为LR检验统计量的抽样分布提供了可靠的近似，尤其在非渐近条件下表现优异。
• 封闭检验程序实现了对全部八个GPCM模型的同步评估，基于单一显著性水平α，提供统一且可解释的模型选择框架。
• 在Iris数据集中，封闭检验程序将VVV模型（广义方差、形状可变、方向可变）选为最优模型，校正p值表明形状与方向具有显著贡献。
• 该方法减少了对可能产生冲突模型选择结果的任意信息准则的依赖，转而提供一种基于假设检验的、有原则且清晰可解释的方法。
• 封闭检验的校正p值提供了各特征分解分量（体积、形状、方向）显著性的度量，显著增强了模型可解释性，超越仅关注模型拟合程度。