[论文解读] Mixtures of Factor Analyzers with Fundamental Skew Symmetric Distributions

Sharon Lee, Tsung‐I Lin+1 more|arXiv (Cornell University)|Feb 7, 2018

Bayesian Methods and Mixture Models参考文献 36被引用 7

一句话总结

本文提出了一种基于尺度混合的规范基础偏态 t 分布（SMCFUSTFA）的灵活有限高斯混合因子分析模型，可同时建模多个任意方向的偏度，克服了现有模型仅假设单一方向偏度的局限性。该方法采用类似 EM 的算法进行最大似然估计，并在真实数据集上表现出优于竞争模型的性能。

ABSTRACT

Mixtures of factor analyzers (MFA) provide a powerful tool for modelling high-dimensional datasets. In recent years, several generalizations of MFA have been developed where the normality assumption of the factors and/or of the errors was relaxed to allow for skewness in the data. However, due to the form of the adopted component densities, the distribution of the factors/errors in most of these models is typically limited to modelling skewness oncentrated in a single direction. Here, we introduce a more flexible finite mixture of factor analyzers based on the class of scale mixtures of canonical fundamental skew normal (SMCFUSN) distributions. This very general class of skew distributions can capture various types of skewness and asymmetry in the data. In particular, the proposed mixture model of SMCFUSN factor analyzers(SMCFUSNFA) can simultaneously accommodate multiple directions of skewness. As such, it encapsulates many commonly used models as special and/or limiting cases, such as models of some versions of skew normal and skew t-factor analyzers, and skew hyperbolic factor analyzers. For illustration, we focus on the t-distribution member of the class of SMCFUSN distributions, leading to mixtures of canonical fundamental skew t-factor analyzers (CFUSTFA). Parameter estimation can be carried out by maximum likelihood via an EM-type algorithm. The usefulness and potential of the proposed model are demonstrated using two real datasets.

研究动机与目标

• 解决现有因子分析混合模型仅假设偏度集中于单一方向的局限性。
• 开发一种更灵活的模型，能够捕捉高维数据中各种类型的偏度与非对称性。
• 通过采用尺度混合的规范基础偏态 t 分布（SMCFUST），扩展因子分析中使用的偏态分布类别。
• 提供一个统一框架，将许多现有偏态因子分析模型作为特例包含在内。
• 通过在真实数据集上使用性能评估指标进行实证评估，证明该模型的有效性。

提出的方法

• 提出基于尺度混合的规范基础偏态 t 分布（SMCFUSTFA）的因子分析混合模型，这是一种允许多个任意方向偏度的一般偏态分布类。
• 采用类似 EM 的算法进行最大似然估计，推导出潜变量条件期望的 E 步表达式。
• 在 CFUST 分布中引入偏度参数矩阵，实现对非单一方向偏度的灵活建模。
• 推导涉及截断 t 分布和条件期望的 E 步表达式，并基于现有统计公式给出截断变量矩的闭式近似。
• 采用初始化策略、收敛性评估和模型选择方法，以确保实现的稳健性。
• 该模型推广了现有模型，如偏态正态和偏态 t 因子分析混合模型，并将其作为特例包含在内。

实验结果

研究问题

• RQ1 因子分析混合模型是否能够同时建模多个方向的偏度，而非局限于单一偏度方向？
• RQ2 SMCFUSTFA 模型在真实世界高维数据上的性能与现有偏态因子分析模型相比如何？
• RQ3 所提出的模型在多大程度上可包含或推广现有模型，如 MSNFA、MSTFA 和 MGHSTFA？
• RQ4 使用 CFUST 分布的尺度混合对建模数据中的重尾和非对称性有何影响？
• RQ5 在实际应用中，该类似 EM 的算法在估计 SMCFUSTFA 模型参数方面的有效性如何？

主要发现

• SMCFUSTFA 模型成功捕捉了多个任意方向的偏度，而现有使用受限偏态分布的模型无法实现这一点。
• 在两个真实数据集上，该模型在多种性能评估指标上均优于竞争模型，证明了其有效性。
• SMCFUSTFA 模型将偏态正态、偏态 t 和偏态超螺旋因子分析混合模型作为特例或极限情况包含在内。
• 类似 EM 的算法收敛稳定，能提供准确的参数估计，适当的初始化和收敛准则进一步提升了性能。
• 算法的 E 步表达式基于截断 t 分布和条件期望推导得出，矩的近似基于现有统计公式。
• 实证结果表明，与传统 MFA 及其他偏态扩展模型相比，所提出的模型能更优地拟合偏态高维数据。