[论文解读] EMMIX-uskew: An R Package for Fitting Mixtures of Multivariate Skew t-distributions via the EM Algorithm

Sharon Lee, Geoffrey J. McLachlan|arXiv (Cornell University)|Nov 22, 2012

Bayesian Methods and Mixture Models参考文献 29被引用 14

一句话总结

本论文介绍了 R 包 EMMIX-uskew，用于通过闭式 EM 算法拟合有限混合的无限制多变量偏态 t 分布。该包支持最大似然估计、2D/3D 密度等高线图可视化以及随机抽样，在真实流式细胞术和 AIS 数据集上的聚类性能优于受限模型。

ABSTRACT

This paper describes an algorithm for fitting finite mixtures of unrestricted Multivariate Skew t (FM-uMST) distributions. The package EMMIX-uskew implements a closed-form expectation-maximization (EM) algorithm for computing the maximum likelihood (ML) estimates of the parameters for the (unrestricted) FM-MST model in R. EMMIX-uskew also supports visualization of fitted contours in two and three dimensions, and random sample generation from a specified FM-uMST distribution. Finite mixtures of skew t-distributions have proven to be useful in modelling heterogeneous data with asymmetric and heavy tail behaviour, for example, datasets from flow cytometry. In recent years, various versions of mixtures with multivariate skew t (MST) distributions have been proposed. However, these models adopted some restricted characterizations of the component MST distributions so that the E-step of the EM algorithm can be evaluated in closed form. This paper focuses on mixtures with unrestricted MST components, and describes an iterative algorithm for the computation of the ML estimates of its model parameters. The usefulness of the proposed algorithm is demonstrated in three applications to real data sets. The first example illustrates the use of the main function fmmst in the package by fitting a MST distribution to a bivariate unimodal flow cytometric sample. The second example fits a mixture of MST distributions to the Australian Institute of Sport (AIS) data, and demonstrate that EMMIX-uskew can provide better clustering results than mixtures with restricted MST components. In the third example, EMMIX-uskew is applied to classify cells in a trivariate flow cytometric dataset. Comparisons with other available methods suggests that the EMMIX-uskew result achieved a lower misclassification rate with respect to the labels given by benchmark gating analysis.

研究动机与目标

• 开发一种用于拟合无限制多变量偏态 t 分布有限混合模型（FM-uMST）的闭式 EM 算法。
• 解决现有模型在组件偏态 t 分布上施加限制以实现解析 E 步计算所带来的局限性。
• 在 R 中实现一种灵活且计算高效的解决方案，用于建模异质性、偏态及重尾数据。
• 展示该包在实际应用中的实用性，特别是在流式细胞术和聚类中的应用。
• 提供 2D 和 3D 的可视化工具，包括等高线图和聚类图，用于拟合混合模型的可视化。

提出的方法

• 通过将条件期望识别为多变量非中心截断 t 分布的矩，实现 E 步的闭式表达式。
• 将非中心截断 t 分布的矩表示为中心 t 分布的形式，以实现解析计算。
• 该算法估计 FM-uMST 模型的所有参数：混合比例、位置、尺度、形状及自由度。
• 该包包含三个核心函数：fmmst（拟合）、rfmmst（随机抽样）和 fmmst.contour（可视化）。
• 可视化函数支持 2D 散点图加等高线、热图以及可自定义层级和分量特定显示的 3D 交互图。
• 该方法支持分量级绘图和通过 'clusters' 参数进行聚类标注，可与真实标签进行比较。

实验结果

研究问题

• RQ1 能否在不施加分布限制的前提下，为无限制多变量偏态 t 分布有限混合模型开发一种闭式 EM 算法？
• RQ2 在处理异质性、偏态及重尾数据时，无限制 FM-uMST 模型与受限模型相比性能如何？
• RQ3 在流式细胞术数据分析中，EMMIX-uskew 是否能实现低于基准方法的误分类率？
• RQ4 该包在多大程度上可通过 2D 和 3D 等高线图支持对复杂多变量混合模型的可视化解释？
• RQ5 该包在建模具有非对称性和异常值敏感结构的真实世界数据集（如流式细胞术和 AIS 数据）方面效果如何？

主要发现

• EMMIX-uskew 无需限制组件偏态 t 分布，成功实现了 FM-uMST 模型的闭式 EM 算法，支持精确似然最大化。
• 在澳大利亚体育研究所（AIS）数据集上，该包在聚类中优于受限 MST 模型，实现了对异质亚群更好的分离。
• 在三变量流式细胞术数据中，经基准门控分析验证，EMMIX-uskew 的误分类率低于其他方法。
• 可视化函数 fmmst.contour.2d 和 fmmst.contour.3d 能有效展示拟合的混合密度，包括聚类图和强度热图，显著提升了模型可解释性。
• 通过 rfmmst 进行随机抽样，可从拟合的 FM-uMST 模型中生成真实数据，支持模型验证与测试。
• 在三个真实数据应用中，该算法在建模非对称和重尾数据方面表现出鲁棒性和准确性。