[论文解读] Identifiability and optimal rates of convergence for parameters of multiple types in finite mixtures

Nhat Ho, XuanLong Nguyen|arXiv (Cornell University)|Jan 11, 2015

Bayesian Methods and Mixture Models参考文献 22被引用 5

一句话总结

本文建立了有限混合模型中参数的最优收敛速率，区分了强可识别模型（在 $W_1$ 和 $W_2$ 度量下分别为 $n^{-1/2}$ 和 $n^{-1/4}$ 的收敛速率）与弱可识别模型（如位置尺度高斯混合和偏正态混合），后者在添加额外分量时，收敛速率由多项式系统的代数结构决定，导致收敛速度显著变慢。该研究为多种混合族的可识别性与收敛性分析提供了通用框架。

ABSTRACT

This paper studies identifiability and convergence behaviors for parameters of multiple types in finite mixtures, and the effects of model fitting with extra mixing components. First, we present a general theory for strong identifiability, which extends from the previous work of Nguyen [2013] and Chen [1995] to address a broad range of mixture models and to handle matrix-variate parameters. These models are shown to share the same Wasserstein distance based optimal rates of convergence for the space of mixing distributions --- $n^{-1/2}$ under $W_1$ for the exact-fitted and $n^{-1/4}$ under $W_2$ for the over-fitted setting, where $n$ is the sample size. This theory, however, is not applicable to several important model classes, including location-scale multivariate Gaussian mixtures, shape-scale Gamma mixtures and location-scale-shape skew-normal mixtures. The second part of this work is devoted to demonstrating that for these "weakly identifiable" classes, algebraic structures of the density family play a fundamental role in determining convergence rates of the model parameters, which display a very rich spectrum of behaviors. For instance, the optimal rate of parameter estimation in an over-fitted location-covariance Gaussian mixture is precisely determined by the order of a solvable system of polynomial equations --- these rates deteriorate rapidly as more extra components are added to the model. The established rates for a variety of settings are illustrated by a simulation study.

研究动机与目标

• 为具有矩阵变量子参数的有限混合模型建立强可识别性的通用理论。
• 刻画在精确拟合与过度拟合情形下，混合分布参数的最优收敛速率。
• 研究在弱可识别模型（如位置尺度高斯混合与偏正态混合）中，额外混合分量对估计速率的影响。
• 证明在这些弱可识别类别中，收敛速率由可解多项式系统的阶数决定。

提出的方法

• 将 Nguyen（2013）和 Chen（1995）的先前可识别性理论扩展至包含矩阵变量子参数和更广泛的混合族。
• 应用基于 Wasserstein 距离的分析方法，推导最优收敛速率：在精确拟合下为 $W_1$ 度量的 $n^{-1/2}$，在过度拟合下为 $W_2$ 度量的 $n^{-1/4}$。
• 通过代数几何方法分析弱可识别模型，重点关注由密度族导出的多项式系统的可解性与阶数。
• 通过模拟研究验证理论收敛速率在多种混合设置下的表现。
• 基于底层代数系统的结构（尤其在含额外分量的过度拟合模型中）推导参数估计速率。

实验结果

研究问题

• RQ1 在强可识别情形下，有限混合模型中参数的最优收敛速率是什么？其与所用 Wasserstein 度量的关系如何？
• RQ2 当弱可识别模型中因添加额外混合分量而出现过度拟合时，收敛速率如何变化？
• RQ3 代数结构（特别是可解多项式系统的阶数）在决定弱可识别混合族的估计速率方面发挥何种作用？
• RQ4 该理论框架是否可适用于有限混合模型中的矩阵变量子参数？
• RQ5 由于其底层代数性质的差异，位置尺度高斯混合、伽马混合与偏正态混合在收敛行为上有哪些不同？

主要发现

• 对于强可识别模型，当模型精确拟合时，混合分布的最优收敛速率在 $W_1$ 度量下为 $n^{-1/2}$。
• 在过度拟合情形下，最优收敛速率在 $W_2$ 度量下退化为 $n^{-1/4}$。
• 对于弱可识别模型（如位置尺度高斯混合），收敛速率由可解多项式方程组的阶数决定，随着额外分量的增加，收敛速率显著变慢。
• 在过度拟合的位置-协方差高斯混合模型中，参数估计速率由底层多项式系统的代数复杂度精确决定。
• 模拟研究在多种混合设置下验证了理论收敛速率，证实了代数结构在决定估计速度中的关键作用。
• 本文表明，标准可识别性理论不适用于多变量高斯混合与偏正态混合等关键模型类别，因此需要采用新的代数方法。