[论文解读] Local Maxima in the Likelihood of Gaussian Mixture Models: Structural Results and Algorithmic Consequences

Chi Jin, Yuchen Zhang+3 more|arXiv (Cornell University)|Sep 4, 2016

Bayesian Methods and Mixture Models参考文献 25被引用 75

一句话总结

本文证明了在理想条件下（等权重、球形且分离良好的分量），含有三个或更多分量的高斯混合模型（GMMs）的总体似然函数中可能存在不良局部极大值。此外，研究还表明，采用随机初始化的一阶EM算法以高概率收敛至这些不良局部极大值，凸显了即使在有利条件下，实践中仍需谨慎初始化的重要性。

ABSTRACT

We provide two fundamental results on the population (infinite-sample) likelihood function of Gaussian mixture models with $M \\geq 3$ components. Our first main result shows that the population likelihood function has bad local maxima even in the special case of equally-weighted mixtures of well-separated and spherical Gaussians. We prove that the log-likelihood value of these bad local maxima can be arbitrarily worse than that of any global optimum, thereby resolving an open question of Srebro (2007). Our second main result shows that the EM algorithm (or a first-order variant of it) with random initialization will converge to bad critical points with probability at least $1-e^{-\\Omega(M)}$. We further establish that a first-order variant of EM will not converge to strict saddle points almost surely, indicating that the poor performance of the first-order method can be attributed to the existence of bad local maxima rather than bad saddle points. Overall, our results highlight the necessity of careful initialization when using the EM algorithm in practice, even when applied in highly favorable settings.

研究动机与目标

• 解决关于在M ≥ 3个分量的高斯混合模型总体似然函数中是否存在不良局部极大值的开放性问题。
• 分析在存在此类局部极大值时，EM算法及其一阶变体的收敛行为。
• 确定EM算法性能不佳的原因是不良局部极大值还是似然函数景观中的不良鞍点。
• 为EM-based GMM估计中需要谨慎初始化提供理论依据，即使在有利的模型假设下亦如此。

提出的方法

• 作者在样本量趋于无穷的极限下，分析了均匀加权、各向同性GMM（M ≥ 3个分量）的总体似然函数。
• 通过构造显式例子，展示分离良好、球形且权重相等的高斯分布，证明了不良局部极大值的存在。
• 通过在似然差异上建立解析边界，证明这些不良局部极大值处的对数似然值可与全局最优值相差任意大。
• 将一阶EM更新建模为映射 g(μ) = μ + s∇ℒ(μ)，并利用稳定流形定理，证明收敛至严格鞍点的概率为零。
• 证明似然函数的黑塞矩阵使得EM映射的雅可比矩阵严格正定，从而保证该映射为局部微分同胚。
• 通过应用不等式 |ab| ≤ ½(a² + b²) 及约束条件 ∑wᵢ(X) = 1，证明对数似然函数的黑塞矩阵为半正定，即二次型 vᵀQv ≥ 0。

实验结果

研究问题

• RQ1 在等权重且分离良好、球形的条件下，M ≥ 3个分量的高斯混合模型的总体似然函数中是否存在不良局部极大值？
• RQ2 不良局部极大值处的对数似然值是否可与全局最优值相差任意大？
• RQ3 在随机初始化下，一阶EM算法是否以高概率收敛至不良局部极大值？
• RQ4 一阶EM方法性能不佳的原因是不良局部极大值还是似然函数景观中的不良鞍点？
• RQ5 在随机初始化下，EM算法是否可几乎必然避免严格鞍点？

主要发现

• 即使在分量等权重、球形且分离良好的情况下，M ≥ 3个分量的GMM总体似然函数中仍存在不良局部极大值。
• 这些不良局部极大值处的对数似然值可与全局最优值相差任意大，解决了Srebro（2011）提出的一个开放问题。
• 采用随机初始化的一阶EM算法收敛至不良临界点的概率至少为 1 − e^−Ω(M)，表明在M较大时失败概率很高。
• 一阶EM算法几乎不收敛至严格鞍点，因为导致收敛至鞍点的初始点集合的勒贝格测度为零。
• 对数似然函数的黑塞矩阵为半正定，确保EM更新映射为局部微分同胚，从而可应用动力系统工具。
• 这些结果表明，EM在GMM中收敛的主要障碍并非鞍点，而是不良局部极大值的存在，因此在实践中必须谨慎初始化。