[论文解读] Finite Mixtures of Canonical Fundamental Skew t-Distributions

Sharon Lee, Geoffrey J. McLachlan|arXiv (Cornell University)|May 4, 2014

Bayesian Methods and Mixture Models参考文献 1被引用 5

一句话总结

本文提出了一种有限混合的规范基础偏t分布（FM-CFUST），统一了受限与非受限多变量偏t模型，通过截断矩的闭式表达实现精确的EM算法。关键贡献在于为E步中此前难以处理的条件期望提供了新的解析表达式，从而在无需蒙特卡洛近似的情况下，实现对偏斜、重尾数据的更快、更精确聚类。

ABSTRACT

This is an extended version of the paper Lee and McLachlan (2014b) with simulations and applications added. This paper introduces a finite mixture of canonical fundamental skew t (CFUST) distributions for a model-based approach to clustering where the clusters are asymmetric and possibly long-tailed (Lee and McLachlan, 2014b). The family of CFUST distributions includes the restricted multivariate skew t (rMST) and unrestricted multivariate skew t (uMST) distributions as special cases. In recent years, a few versions of the multivariate skew t (MST) model have been put forward, together with various EM-type algorithms for parameter estimation. These formulations adopted either a restricted or unrestricted characterization for their MST densities. In this paper, we examine a natural generalization of these developments, employing the CFUST distribution as the parametric family for the component distributions, and point out that the restricted and unrestricted characterizations can be unified under this general formulation. We show that an exact implementation of the EM algorithm can be achieved for the CFUST distribution and mixtures of this distribution, and present some new analytical results for a conditional expectation involved in the E-step.

研究动机与目标

• 将受限与非受限多变量偏t（rMST/uMST）模型统一于单一参数族下，用于模型基聚类。
• 为有限混合的规范基础偏t（FM-CFUST）分布开发精确的EM算法，避免计算密集型近似方法。
• 推导E步中一个关键条件期望的新型闭式表达式，此前该表达式依赖数值或蒙特卡洛方法。
• 通过参数估计或BIC实现rMST、uMST与CFUST之间的数据驱动模型选择。
• 在模拟与真实数据集（包括DLBCL和AIS数据）上展示优于现有方法的聚类性能。

提出的方法

• 将CFUST分布定义为基本偏t分布的位置-尺度变体，偏度由一般p×q矩阵∆控制。
• 采用基于伽马分布尺度与多元正态分量的卷积型随机表示，通过q维t分布实现偏度构造。
• 应用EM算法，利用截断矩实现精确的E步计算，基于Ho等（2012）与Lee & McLachlan（2014a）的工作。
• 通过对数函数的无穷级数表示，推导出条件期望e(k)_1hj的新闭式表达式。
• 对M步进行轻微修改，以适应CFUST的一般形式。
• 采用BIC与聚类准确率（MCR、ARI）进行模型选择与性能评估。

实验结果

研究问题

• RQ1 能否构建一个统一的参数族，使rMST与uMST模型均作为其特例？
• RQ2 能否在不依赖蒙特卡洛近似的情况下，为FM-CFUST分布的有限混合实现精确EM算法？
• RQ3 E步中条件期望的新解析表达式是否提升了计算速度与估计精度？
• RQ4 FM-CFUST模型在真实与模拟的偏斜、重尾数据聚类中，相较于rMST与uMST表现如何？
• RQ5 能否通过参数估计或BIC实现rMST、uMST与CFUST之间的有效数据驱动模型选择？

主要发现

• 在AIS数据集中，FM-CFUST模型的误分类率最低（MCR = 0.0149），调整兰德指数最高（ARI = 0.941），优于rMST与uMST模型。
• 在DLBCL数据集中，具有非约束∆的FM-CFUST模型的MCR（0.0575）更高，ARI（0.8387）更低，而FM-uMST模型表现最佳。
• 在DLBCL数据上，FM-uMST模型的对数似然最高（-59434.31），BIC最低（119200.7），表明其拟合效果优于具有非约束∆的FM-CFUST模型。
• 在DLBCL数据上，使用对角偏度矩阵∆h的FM-CFUST模型优于完整CFUST模型，表明当数据支持时，更简单的结构可能更优。
• e(k)_1hj的新解析表达式实现了精确的闭式E步计算，消除了以往研究（如Lin, 2010）中依赖数值近似的方法。
• FM-CFUST模型在模拟数据中成功捕捉了复杂的偏度与重尾行为，包括rMST与uMST模型难以处理的情形。