[论文解读] Clustering using skewed multivariate heavy tailed distributions with flexible tail behaviour

Darren Wraith, Florence Forbes|arXiv (Cornell University)|Aug 1, 2014

Bayesian Methods and Mixture Models参考文献 30被引用 5

一句话总结

本文提出了一种基于广义双曲分布多重缩放扩展的灵活多变量聚类框架，可在保持任意相关性的同时，对每个维度实现独立的尾部厚重性和偏度控制。该方法采用EM算法估计此类分布的混合模型参数，显著提升了对非对称、重尾数据的建模能力，优于标准高斯分布或t分布混合模型。

ABSTRACT

The family of location and scale mixtures of Gaussians has the ability to generate a number of flexible distributional forms. It nests as particular cases several important asymmetric distributions like the Generalised Hyperbolic distribution. The Generalised Hyperbolic distribution in turn nests many other well known distributions such as the Normal Inverse Gaussian (NIG) whose practical relevance has been widely documented in the literature. In a multivariate setting, we propose to extend the standard location and scale mixture concept into a so called multiple scaled framework which has the advantage of allowing different tail and skewness behaviours in each dimension of the variable space with arbitrary correlation between dimensions. Estimation of the parameters is provided via an EM algorithm with a particular focus on NIG distributions. Inference is then extended to cover the case of mixtures of such multiple scaled distributions for application to clustering. Assessments on simulated and real data confirm the gain in degrees of freedom and flexibility in modelling data of varying tail behaviour and directional shape.

研究动机与目标

• 解决标准高斯分布和t分布混合模型在处理具有各维度差异尾部行为的非对称、重尾多变量数据时的局限性。
• 通过在每个维度引入多重缩放，扩展位置与尺度混合高斯框架，实现对每个变量尾部权重与偏度的独立控制。
• 针对该多重缩放框架中的正态逆高斯（NIG）分布混合模型，开发一种基于EM算法的稳健估计程序。
• 实现对具有复杂边缘结构与依赖结构的真实世界数据的灵活聚类，尤其适用于金融、地球科学和信号处理领域。
• 通过模拟实验与真实数据实验验证模型在捕捉方向性形状与尾部行为方面的优越性。

提出的方法

• 提出一种多重缩放的位置与尺度混合高斯模型，其中每个维度具有独立的尺度参数，从而实现各维度尾部与偏度行为的独立控制。
• 采用广义双曲（GH）分布族，特别是正态逆高斯（NIG）分布，作为建模偏度与重尾性的基础。
• 推导出EM算法，所有参数（分量均值、协方差矩阵、偏度向量与尺度参数）均具有闭式更新，通过迭代优化Q函数实现。
• 引入基于对角矩阵D_k与变换参数A_k、β_k的重参数化方法，以在EM更新过程中解耦尺度与偏度的影响。
• 采用基于迹的最小化方法，利用改进的Flury-Gautschi算法更新D_k，确保正定性与数值稳定性。
• 引入基于α_k的对数似然惩罚项，以稳定尺度矩阵A_k的估计，防止过拟合。

实验结果

研究问题

• RQ1 与标准混合模型相比，多重缩放的广义双曲分布扩展是否能更有效地建模非对称、重尾的多变量数据？
• RQ2 在具有复杂边缘结构的真实世界数据集中，是否允许各维度独立控制尾部与偏度能提升聚类性能？
• RQ3 所提出的EM算法在收敛性与参数估计精度方面与现有方法相比表现如何？
• RQ4 该模型在高维数据中能多大程度上捕捉方向性形状与尾部相依结构？
• RQ5 在金融与地球科学等应用中，NIG分布是否是稳健聚类的合适且实用的选择？

主要发现

• 所提出的多重缩放模型在具有不同尾部行为与方向性偏度的模拟数据上显著提升了聚类性能，优于标准高斯分布与t分布混合模型。
• EM算法收敛稳定且高效，所有参数（包括复杂的偏度与尺度矩阵）均具有闭式更新。
• 该模型成功独立捕捉了各维度的重尾与偏斜边缘分布，从而更优地拟合真实世界数据（如金融收益与地球物理信号）。
• 通过χ(q)图的实证评估确认，该模型能准确捕捉尾部相依结构，分位数依赖度量反映了真实数据的特征。
• 通过D_k与Â_k的重参数化方法，确保了数值稳定性，并支持可解释的参数更新，增强了高维场景下的鲁棒性。
• 该方法在金融与信号处理等应用中展现出实际相关性，尤其适用于具有强非对称性与重尾特性的数据。