[论文解读] Challenges with EM in application to weakly identifiable mixture models.

Raaz Dwivedi, Nhat Ho+4 more|arXiv (Cornell University)|Feb 1, 2019

Bayesian Methods and Mixture Models参考文献 22被引用 6

一句话总结

本文研究了在弱可识别的位置尺度混合模型中，期望最大化（EM）算法收敛缓慢的问题，特别是在最大似然估计的误差率次优时。本文从理论上刻画了EM的收敛速率，显示在一元情况下需要 $n^{3/4}$ 步，在多元设定下需要 $(n/d)^{1/2}$ 步，其中位置参数的估计误差为 $n^{-1/8}$，尺度参数的估计误差为 $n^{-1/4}$。

ABSTRACT

We study a class of weakly identifiable location-scale mixture models for which the maximum likelihood estimates based on $n$ i.i.d. samples are known to have lower accuracy than the classical $n^{- \frac{1}{2}}$ error. We investigate whether the Expectation-Maximization (EM) algorithm also converges slowly for these models. We first demonstrate via simulation studies a broad range of over-specified mixture models for which the EM algorithm converges very slowly, both in one and higher dimensions. We provide a complete analytical characterization of this behavior for fitting data generated from a multivariate standard normal distribution using two-component Gaussian mixture with varying location and scale parameters. Our results reveal distinct regimes in the convergence behavior of EM as a function of the dimension $d$. In the multivariate setting ($d \geq 2$), when the covariance matrix is constrained to a multiple of the identity matrix, the EM algorithm converges in order $(n/d)^{\frac{1}{2}}$ steps and returns estimates that are at a Euclidean distance of order ${(n/d)^{-\frac{1}{4}}}$ and ${ (n d)^{- \frac{1}{2}}}$ from the true location and scale parameter respectively. On the other hand, in the univariate setting ($d = 1$), the EM algorithm converges in order $n^{\frac{3}{4} }$ steps and returns estimates that are at a Euclidean distance of order ${ n^{- \frac{1}{8}}}$ and ${ n^{-\frac{1} {4}}}$ from the true location and scale parameter respectively. Establishing the slow rates in the univariate setting requires a novel localization argument with two stages, with each stage involving an epoch-based argument applied to a different surrogate EM operator at the population level. We also show multivariate ($d \geq 2$) examples, involving more general covariance matrices, that exhibit the same slow rates as the univariate case.

研究动机与目标

• 理解为何在最大似然估计精度低于 $n^{-1/2}$ 的弱可识别混合模型中，EM算法收敛缓慢。
• 分析一元和多元正态位置尺度混合模型中EM的收敛行为，参数变化多样。
• 刻画在模型过度指定时EM的收敛速率与估计误差，特别是当真实数据生成分布为标准正态分布时。
• 在单变量情况下，为总体层面的EM算子提出一种新颖的两阶段定位论证，结合基于阶段的分析方法。

提出的方法

• 在单维和高维空间中对过度指定的两分量高斯混合模型进行模拟研究，以展示EM收敛缓慢的现象。
• 针对具有单位协方差约束的多元正态数据与两分量高斯混合模型，进行理论刻画。
• 提出一种两阶段定位论证，通过在总体层面针对不同代理EM算子进行基于阶段的分析，以处理单变量情形。
• 将分析扩展至具有通用协方差矩阵的多元设定，表明其收敛速率与单变量情形相似。
• 通过在样本量 $n$ 和维度 $d$ 逐渐增加的渐近分析，推导出收敛速率与估计误差，明确其对 $n$ 和 $d$ 的依赖关系。

实验结果

研究问题

• RQ1 在估计精度低于 $n^{-1/2}$ 的弱可识别混合模型中，EM算法的收敛速率如何表现？
• RQ2 对于两分量高斯混合模型，EM在单变量与多元设定下的精确收敛速率是什么？
• RQ3 EM在单变量情形下为何收敛缓慢？这一现象能否通过一种新颖的分析框架加以解释？
• RQ4 当协方差矩阵不被限制为单位矩阵的倍数时，EM的收敛速率是否依然缓慢？
• RQ5 在具有通用协方差结构的多元模型中，是否也能观察到相同的缓慢收敛速率？

主要发现

• 在一元设定（$d = 1$）下，EM算法在 $n^{3/4}$ 步内收敛，位置参数的估计误差为 $n^{-1/8}$，尺度参数的估计误差为 $n^{-1/4}$。
• 在多元设定（$d o ext{dim} o ext{infty}$）下，当协方差被约束为单位矩阵的倍数时，EM在 $(n/d)^{1/2}$ 步内收敛，位置参数的估计误差为 $(n/d)^{-1/4}$，尺度参数的估计误差为 $(n d)^{-1/2}$。
• 单变量情形下的缓慢收敛可通过一种新颖的两阶段定位论证加以解释，该论证涉及对总体层面代理EM算子的基于阶段分析。
• 具有通用协方差矩阵的多元模型也表现出与单变量情形相同的缓慢收敛速率，表明该现象不限于单位协方差结构。
• 结果表明，即使在模型过度指定的情况下，EM在弱可识别模型中仍无法实现经典的 $n^{-1/2}$ 收敛速率。
• 本研究确立了EM的收敛行为从根本上依赖于参数空间的几何结构以及混合模型的可识别性结构。