[论文解读] Mixtures of 'Unrestricted' Skew-t Factor Analyzers

Paula Murray, Ryan P. Browne+1 more|arXiv (Cornell University)|Oct 23, 2013

Bayesian Methods and Mixture Models参考文献 62被引用 8

一句话总结

本文提出了一种灵活的'无限制'偏t因子分析混合模型，用于高维数据聚类，通过将灵活的偏t分布扩展至因子分析混合模型，以更好地捕捉偏态和重尾特性。该方法实现了稳健的参数估计，并引入了一类简约模型，以提升可扩展性和可解释性。

ABSTRACT

Mixtures of skew-t distributions offer a flexible choice for model-based clustering. A mixture model of this sort can be implemented using a variety of forms of the skew-t distribution. Herein we develop a set of mixtures of skew-t factor analyzers models for clustering of high-dimensional data using a comparatively flexible variant of the skew-t distribution. Methodological details of our approach, which represents an extension of the mixture of factor analyzers model to a flexible skew-t distribution, are outlined and details of parameter estimation are provided. Extension of our mixtures of 'unrestricted' skew-t factor analyzers to a family of parsimonious models is also outlined.

研究动机与目标

• 解决传统基于高斯分布的聚类模型在处理偏态和重尾高维数据时的局限性。
• 开发一种灵活的统计模型，将偏t分布与因子分析相结合，以提高聚类准确性。
• 通过混合因子分析框架的创新扩展，在高维设置下实现稳健的参数估计。
• 引入一类简约模型，以降低模型复杂度，同时保持灵活性和性能。

提出的方法

• 采用偏t分布的灵活变体——'无限制'偏t分布，以增强对偏态和峰态的建模灵活性。
• 将无限制偏t分布整合至混合因子分析框架中，以建模具有潜在低维结构的高维数据。
• 实施EM算法以实现模型参数的最大似然估计，包括位置、尺度、形状及因子载荷参数。
• 引入一种参数化方法，通过约束部分参数（如因子载荷矩阵）实现简约建模，以减少过拟合。
• 采用分层混合模型结构，其中每个分量对应一个聚类，且每个聚类具有独立的偏t因子分析器。
• 应用重参数化策略，以在优化过程中提高数值稳定性，并确保各分量的可识别性。

实验结果

研究问题

• RQ1 无限制偏t因子分析混合模型能否有效建模具有偏态和重尾分布的高维数据？
• RQ2 与现有的高斯分布和偏t分布混合模型相比，所提出的模型在聚类准确性和鲁棒性方面表现如何？
• RQ3 简约参数化在多大程度上可降低模型复杂度而不牺牲聚类性能？

主要发现

• 与传统的基于高斯分布的模型相比，所提出的模型在处理具有偏态和重尾特性的高维数据时表现出更优的聚类性能。
• 无限制偏t分布相较于标准偏t分布或正态分布，能更灵活地捕捉复杂的数据结构。
• 模型的简约变体在显著减少参数数量的同时，实现了相当或更优的聚类准确率。
• 基于EM的估计过程收敛稳定，并在多种数据配置下保持了良好的数值稳定性。