[论文解读] Maximum Likelihood Estimation for Finite Mixtures of Canonical Fundamental Skew t-Distributions: the Unification of the Unrestricted and Restricted Skew t-Mixture Models

Sharon Lee, Geoffrey J. McLachlan|arXiv (Cornell University)|Jan 31, 2014

Statistical Distribution Estimation and Applications参考文献 10被引用 6

一句话总结

本文提出了一种用于有限混合的规范基础偏 t 分布（FM-CFUST）的精确期望最大化（EM）算法，统一了受限和非受限偏 t 混合模型。通过利用对数函数的无穷级数展开，推导出所有 E 步条件期望的闭式表达式，该方法实现了无需依赖蒙特卡洛近似或数值方法的更快、更精确的参数估计。

ABSTRACT

In this paper, we present an algorithm for the fitting of a location-scale variant of the canonical fundamental skew t (CFUST) distribution, a superclass of the restricted and unrestricted skew t-distributions. In recent years, a few versions of the multivariate skew $t$ (MST) model have been put forward, together with various EM-type algorithms for parameter estimation. These formulations adopted either a restricted or unrestricted characterization for their MST densities. In this paper, we examine a natural generalization of these developments, employing the CFUST distribution as the parametric family for the component distributions, and point out that the restricted and unrestricted characterizations can be unified under this general formulation. We show that an exact implementation of the EM algorithm can be achieved for the CFUST distribution and mixtures of this distribution, and present some new analytical results for a conditional expectation involved in the E-step.

研究动机与目标

• 在单一参数框架下统一受限和非受限多变量偏 t 混合模型，使用规范基础偏 t（CFUST）分布。
• 为有限混合 CFUST 分布开发精确的 EM 算法，避免先前工作中使用的计算密集型近似方法。
• 推导出 E 步中难以处理的条件期望的新解析表达式，特别是涉及伽马变量的对数似然项。
• 实现在具有偏斜重尾分布的有限混合模型中高效且精确的参数估计。

提出的方法

• 提出使用 CFUST 分布作为分量分布的有限混合模型，该分布推广了受限（rMST）和非受限（uMST）偏 t 分布。
• 采用 EM 算法，并使用截断矩方法处理 E 步中难以处理的期望。
• 通过 log(x) 在 0 < x < 2 范围内的泰勒级数和二项式展开，推导出 E[log(Wj)|yj] 的新颖无穷级数表示。
• 将关键的 E 步项 e(k)1,hj 表示为包含多元 t 分布函数和伽马函数的收敛级数。
• 通过解析解，为所有参数（位置 µ、尺度 Σ、偏度 ∆ 和自由度 ν）提供闭式更新。
• 通过在偏度矩阵 ∆ 上施加结构约束，验证了 rMST 和 uMST 模型作为特例的出现。

实验结果

研究问题

• RQ1 受限和非受限偏 t 混合模型能否在单一参数族下统一？
• RQ2 是否可以为 CFUST 混合模型 EM 算法的 E 步中所有条件期望推导出精确的闭式表达式？
• RQ3 如何在不使用蒙特卡洛积分的情况下，对涉及 log(Wj) 的难以处理的期望进行解析近似？
• RQ4 所提出的 EM 算法在收敛速度和估计精度方面是否优于现有方法？
• RQ5 统一的 FM-CFUST 模型能否作为 rMST 和 uMST 模型在有限混合应用中的灵活替代方案？

主要发现

• 所提出的 FM-CFUST 模型通过在偏度矩阵 ∆ 上施加结构约束，将受限和非受限偏 t 混合模型统一为特例。
• 利用包含多元 t 分布函数和伽马函数的无穷级数，推导出 e(k)1,hj 的新精确表达式，实现了闭式计算。
• 该方法避免了 Lin (2010) 使用的蒙特卡洛近似以及 Lee 和 McLachlan (2013a) 的 OSL 方法，实现了更快、更精确的收敛。
• 所有 E 步条件期望现在均可解析求解，从而实现了 EM 算法的完全精确实现。
• S(k)1,hj 的推导级数在实际应用中仅需少量项即可收敛，具有计算可行性。
• 该算法在模拟中展示了对重尾和偏斜数据结构的一致且高效的参数估计（结论中隐含）。