[论文解读] Extending mixtures of factor models using the restricted multivariate skew-normal distribution

Tsung‐I Lin, Geoffrey J. McLachlan+1 more|arXiv (Cornell University)|Jul 6, 2013

Bayesian Methods and Mixture Models参考文献 7被引用 6

一句话总结

本文提出了混合偏正态因子分析模型（MSNFA），通过用受限多变量偏正态（rMSN）分布替代传统混合因子分析（MFA）模型中的正态潜变量因子，扩展了MFA模型，以更好地建模具有非对称子群体的高维数据。该方法采用计算高效的ECM算法进行参数估计，并在真实数据集上表现出优于传统MFA的聚类准确率和模型拟合度，尤其在数据呈现偏度时优势显著。

ABSTRACT

The mixture of factor analyzers (MFA) model provides a powerful tool for analyzing high-dimensional data as it can reduce the number of free parameters through its factor-analytic representation of the component covariance matrices. This paper extends the MFA model to incorporate a restricted version of the multivariate skew-normal distribution to model the distribution of the latent component factors, called mixtures of skew-normal factor analyzers (MSNFA). The proposed MSNFA model allows us to relax the need for the normality assumption for the latent factors in order to accommodate skewness in the observed data. The MSNFA model thus provides an approach to model-based density estimation and clustering of high-dimensional data exhibiting asymmetric characteristics. A computationally feasible ECM algorithm is developed for computing the maximum likelihood estimates of the parameters. Model selection can be made on the basis of three commonly used information-based criteria. The potential of the proposed methodology is exemplified through applications to two real examples, and the results are compared with those obtained from fitting the MFA model.

研究动机与目标

• 为解决传统MFA模型在处理具有偏斜性的高维数据时，由于潜变量因子的正态性假设而带来的局限性。
• 开发一种灵活的基于模型的密度估计与聚类方法，以适应异质数据中的偏态与多峰特性。
• 提供一种计算上可行的参数估计程序，并通过参数标准误与模型选择准则实现可靠的统计推断。
• 在涉及非正态、偏斜数据的真实世界应用中，展示MSNFA模型相较于经典MFA的优越性。

提出的方法

• 提出一种新型MSNFA模型，其中各分量的潜变量因子服从受限多变量偏正态（rMSN）分布，而非正态分布。
• 采用四层层次化框架，推导出用于模型参数最大似然估计的闭式ECM算法。
• 利用观测信息矩阵近似参数估计的渐近协方差矩阵，以计算标准误。
• 应用信息准则（BIC、ICL、AWE）与分类指标（ARI、CCR）进行模型选择与性能评估。
• 引入初始化策略、收敛性检查方法，以及处理标签切换与因子不可识别性问题的机制。
• 利用坐标投影图与不确定性图进行聚类结果的可视化解释。

实验结果

研究问题

• RQ1 用rMSN分布替代正态潜变量因子是否能提升具有偏度的高维数据的模型拟合度与聚类准确率？
• RQ2 当数据呈现非对称子群体时，MSNFA模型相较于经典MFA的表现如何？
• RQ3 当正态性假设被违反时，偏度对参数估计与聚类结果的影响如何？
• RQ4 在存在偏度的情况下，所提出的ECM算法在收敛至可靠参数估计方面效果如何？

主要发现

• 在WDBC数据集上，MSNFA模型的分类准确率优于MFA，当q = 7时，调整兰德指数（ARI）为0.762，正确分类率（CCR）为0.937。
• 在AIS数据集上，MSNFA模型表现出更优的聚类性能，尤其在捕捉非对称群体结构方面优于MFA。
• 对于WDBC数据，使用BIC、ICL与AWE准则选择的最优MSNFA模型对应q = 9，表明模型选择具有高度一致性。
• ECM算法在多种初始化条件下均能可靠收敛，并提供了基于观测信息矩阵计算的标准误的稳定参数估计。
• MSNFA模型对偏度表现出鲁棒性，在数据偏离正态性时，其在模型拟合度与分类准确率方面均优于MFA。
• 坐标投影图与不确定性图等可视化结果证实，该模型能有效识别并分离偏斜子群体。