[论文解读] EMMIXcskew: an R Package for the Fitting of a Mixture of Canonical Fundamental Skew t-Distributions

Sharon Lee, Geoffrey J. McLachlan|arXiv (Cornell University)|Sep 7, 2015

Bayesian Methods and Mixture Models参考文献 45被引用 7

一句话总结

本文介绍了 EMMIXcskew R 包，通过期望最大化（EM）算法使用最大似然估计拟合有限混合的规范基础偏态 t 分布（FM-CFUST）。该方法为建模具有偏度和厚尾特征的非正态数据提供了一个灵活且统一的框架，可涵盖正态分布、t 分布、偏态正态分布及其他偏态 t 分布作为特例，适用于聚类、密度估计和跨多个领域的稳健建模。

ABSTRACT

This paper presents an R package EMMIXcskew for the fitting of the canonical fundamental skew t-distribution (CFUST) and finite mixtures of this distribution (FM-CFUST) via maximum likelihood (ML). The CFUST distribution provides a flexible family of models to handle non-normal data, with parameters for capturing skewness and heavy-tails in the data. It formally encompasses the normal, t, and skew-normal distributions as special and/or limiting cases. A few other versions of the skew t-distributions are also nested within the CFUST distribution. In this paper, an Expectation-Maximization (EM) algorithm is described for computing the ML estimates of the parameters of the FM-CFUST model, and different strategies for initializing the algorithm are discussed and illustrated. The methodology is implemented in the EMMIXcskew package, and examples are presented using two real datasets. The EMMIXcskew package contains functions to fit the FM-CFUST model, including procedures for generating different initial values. Additional features include random sample generation and contour visualization in 2D and 3D.

研究动机与目标

• 开发一种灵活的统计模型，用于捕捉非正态数据中的偏度和厚尾行为。
• 在单一规范框架下统一现有的偏态 t 分布（受限、非受限、偏态正态、t 分布等）。
• 实现一种高效的 EM 算法，用于有限混合 CFUST 分布模型的最大似然估计。
• 提供一个 R 包，包含参数估计、随机抽样、密度评估以及二维和三维等高线可视化工具。
• 通过 AIC 和 BIC 支持模型选择，以识别最优的混合分量数量和分布假设。

提出的方法

• 使用 p×q 偏度矩阵 Δ、位置 μ、尺度矩阵 Σ 和自由度 ν，形式化定义规范基础偏态 t 分布（CFUST）。
• 采用期望最大化（EM）算法计算 FM-CFUST 模型的最大似然估计。
• 引入多种 EM 算法的初始化策略，包括 k-means、随机起始点和基于模型的种子初始化。
• 在 CFUST 密度公式中使用多元 t 分布密度和累积 t 分布函数：f(y) = 2q tp(y; μ, Ω, ν) Tq(c(y)/r; 0, Λ, ν+p)。
• 实现函数以从 FM-CFUST 模型生成随机样本、评估密度，并绘制二维和三维等高线图。
• 通过设置 component=1:2 支持按分量的等高线图绘制，可独立于混合比例可视化各个混合分量。

实验结果

研究问题

• RQ1 如何构建一个统一的参数族，以同时建模多变量数据中的偏度和厚尾特征？
• RQ2 对于有限混合的 CFUST 分布，EM 算法最有效的初始化方式是什么，以避免陷入局部最大值？
• RQ3 FM-CFUST 模型在捕捉复杂数据特征（如偏度和峰度）方面，与传统的正态和 t 混合模型相比表现如何？
• RQ4 拟合高维 CFUST 混合模型时面临哪些计算挑战，如何加以缓解？
• RQ5 EMMIXcskew 包能否支持真实世界数据集中具有非正态特征的稳健模型选择与可视化？

主要发现

• CFUST 分布在形式上包含了多元正态分布、t 分布、偏态正态分布和经典偏态 t 分布作为特例或极限情况。
• FM-CFUST 模型通过一个通用的 p×q 偏度矩阵，为正态混合模型提供了对偏度和厚尾特征的稳健扩展。
• EM 算法在 EMMIXcskew 中成功收敛至高似然解，且初始化策略显著影响收敛速度和准确性。
• 该包可实现混合密度和各分量的准确二维和三维等高线可视化，通过颜色编码的数据点支持聚类解释。
• 包中包含 AIC 和 BIC，使用户能够客观比较不同分量数量或分布假设下的模型。
• 模拟实验和真实数据示例（如 iris versicolor）表明，该模型能够捕捉标准混合模型无法建模的复杂非椭圆数据结构。