[论文解读] Convergence Analysis of Gradient EM for Multi-component Gaussian Mixture

Bowei Yan, Mingzhang Yin+1 more|arXiv (Cornell University)|May 23, 2017

Bayesian Methods and Mixture Models参考文献 24被引用 3

一句话总结

本论文针对具有任意数量分量和已知混合系数的多分量高斯混合模型（GMMs）的梯度期望最大化（EM）算法提供了收敛性分析。通过学习理论与经验过程工具，推导出一个接近最优的局部收缩半径及依赖于混合系数、成对中心距离和维度的收敛速率，建立了在良好初始化条件下的非渐近保证。

ABSTRACT

In this paper, we study convergence properties of the gradient Expectation-Maximization algorithm \cite{lange1995gradient} for Gaussian Mixture Models for general number of clusters and mixing coefficients. We derive the convergence rate depending on the mixing coefficients, minimum and maximum pairwise distances between the true centers and dimensionality and number of components; and obtain a near-optimal local contraction radius. While there have been some recent notable works that derive local convergence rates for EM in the two equal mixture symmetric GMM, in the more general case, the derivations need structurally different and non-trivial arguments. We use recent tools from learning theory and empirical processes to achieve our theoretical results.

研究动机与目标

• 理解梯度EM在一般多分量高斯混合模型中的收敛行为，超越两分量对称情形。
• 推导依赖于混合系数、中心分离度和维度等模型参数的非渐近收敛速率与局部收缩半径。
• 为梯度EM建立一个接近最优的收缩区域，优于先前工作中次优的半径。
• 提供可扩展至随机梯度EM的理论保证，通过基于样本的统一集中性界。

提出的方法

• 分析使用经验过程理论与集中不等式，以有界真实与经验梯度算子之间的统一偏差。
• 采用 $ e^{2d} $-网的覆盖论证，控制参数区域内梯度差值的上确界。
• 论文引入统一偏差界 $ \epsilon^{\text{unif}}(n) \propto M^{3/2}(1+3R_{\max})^3 \max\{1,\log \kappa\} \sqrt{\frac{d \log n}{n}} $，用于真实与经验梯度之间的差异。
• 利用梯度差值的次高斯集中性论证，依赖于通过 $ R_{\max} $ 有界的梯度分量。
• 收缩区域定义为 $ \mathbb{A} = \prod_{i=1}^M \mathbb{B}(\bm{\mu}_i^*, a) $，分析确保在良好初始化下收敛于该集合内。
• 通过组合论证与尾部界推导出概率初始化界，表明 $ \mathcal{O}\left( \frac{\log(1/\delta)}{\sqrt{2\pi M}} \left( \frac{e}{1 - e^{-a\sqrt{d}/2}} \right)^M \right) $ 个初始化足以以高概率实现良好初始状态。

实验结果

研究问题

• RQ1 对于具有任意混合系数与分量中心的通用多分量GMMs，梯度EM的收敛速率如何？
• RQ2 梯度EM的局部收缩半径如何随分量数量、维度及中心间最小分离度变化？
• RQ3 在一般GMM设置下，能否为梯度EM建立接近最优的收缩半径，超越两相等分量的情形？
• RQ4 在高维GMMs中，为确保以高概率获得良好初始点，所需初始数量是多少？
• RQ5 基于样本的统一集中性界如何使梯度EM及其随机变体获得非渐近收敛保证？

主要发现

• 梯度EM的收敛速率依赖于混合系数、真实中心之间的最小与最大成对距离，以及维度与分量数量。
• 推导出一个接近最优的局部收缩半径，优于先前针对两相等分量GMMs工作的次优半径。
• 以高概率，真实与经验梯度之间的统一偏差被限制在 $ \epsilon^{\text{unif}}(n) = cM^{3/2}(1+3R_{\max})^3\max\{1,\log(\kappa)\}\sqrt{\frac{d\log n}{n}} $ 以内。
• 以高概率，只要初始估计位于真实参数的邻域内，梯度EM算法在收缩区域 $ \mathbb{A} $ 内线性收敛。
• 实现良好初始状态所需的初始化数量被限制在 $ \mathcal{O}\left( \frac{\log(1/\delta)}{\sqrt{2\pi M}} \left( \frac{e}{1 - e^{-a\sqrt{d}/2}} \right)^M \right) $ 以内，确保以高概率实现良好初始化。
• 该理论框架可直接推广至随机梯度EM，在相同条件下提供非渐近收敛保证。