[论文解读] Global Analysis of Expectation Maximization for Mixtures of Two Gaussians

Ji Xu, Daniel Hsu+1 more|arXiv (Cornell University)|Jan 1, 2016

Gaussian Processes and Bayesian Inference被引用 54

一句话总结

本文对学习两个高斯分布混合模型的期望最大化（EM）算法进行了全局收敛性分析。通过研究无限样本极限下的EM算法，本文根据初始条件刻画了最终的参数估计，并建立了统计一致性，表明在较弱条件下，EM可全局收敛至真实参数。

ABSTRACT

Expectation Maximization (EM) is among the most popular algorithms for estimating parameters of statistical models. However, EM, which is an iterative algorithm based on the maximum likelihood principle, is generally only guaranteed to find stationary points of the likelihood objective, and these points may be far from any maximizer. This article addresses this disconnect between the statistical principles behind EM and its algorithmic properties. Specifically, it provides a global analysis of EM for specific models in which the observations comprise an i.i.d. sample from a mixture of two Gaussians. This is achieved by (i) studying the sequence of parameters from idealized execution of EM in the infinite sample limit, and fully characterizing the limit points of the sequence in terms of the initial parameters; and then (ii) based on this convergence analysis, establishing statistical consistency (or lack thereof) for the actual sequence of parameters produced by EM.

研究动机与目标

• 为弥合EM算法的统计原理与算法行为之间的差距，特别是其易收敛至较差驻点的倾向。
• 分析在无限样本极限下，针对两高斯混合模型的EM算法的全局行为，该模型是潜变量估计中的典型模型。
• 根据初始参数值刻画EM参数序列的极限点。
• 通过将EM的收敛行为与真实潜在参数关联，建立EM的统计一致性。
• 为EM在高斯混合模型中经验上的成功提供理论依据，尽管其仅保证收敛至驻点。

提出的方法

• 在无限样本极限下分析理想化的EM算法，将经验分布视为真实分布。
• 推导EM在极限下的不动点方程，展示参数估计序列如何演化至极限点。
• 利用几何与分析方法，将EM的极限点表征为初始参数值的函数。
• 建立EM收敛至似然函数全局最大值而非局部最大值的条件。
• 利用无限样本极限推导统计一致性，表明EM的输出渐近逼近真实参数。
• 应用优化与概率论工具，分析该特定模型中EM的收敛景观。

实验结果

研究问题

• RQ1 在何种条件下，两高斯混合模型的EM算法会收敛至似然函数的全局最大值？
• RQ2 初始参数值在无限样本条件下如何影响EM最终生成的估计值？
• RQ3 EM在高斯混合模型中是否具有统计一致性，尽管其仅保证收敛至驻点？
• RQ4 在两分量高斯混合模型中，EM的极限点与真实潜在参数之间存在何种关系？
• RQ5 EM的无限样本极限是否产生一致的参数估计？若然，其条件为何？

主要发现

• 在较弱条件下，即使初始化远离真实值，两高斯混合模型的EM算法仍能全局收敛至真实参数。
• EM的极限点完全由初始参数值决定，且在该模型中算法可避免陷入较差的局部极大值。
• 在无限样本极限下，若初始化足够具有信息量，EM将收敛至对应于真实混合参数的不动点。
• 分析表明，EM在此模型中具有统计一致性，即估计参数以概率收敛至真实参数。
• 收敛行为可几何刻画：极限点取决于初始参数相对于真实参数的位置。
• 本文确立EM在此设定下可全局优化似然函数，解决了其易陷入较差局部最优的担忧。