[论文解读] An Alternative to EM for Gaussian Mixture Models: Batch and Stochastic Riemannian Optimization

Reshad Hosseini, Suvrit Sra|arXiv (Cornell University)|Jun 10, 2017

Bayesian Methods and Mixture Models参考文献 28被引用 5

一句话总结

本文提出了一种黎曼优化框架，用于高斯混合模型（GMM）参数估计，作为期望最大化（EM）算法的可扩展替代方案。通过重新表述似然问题，确保在正定矩阵流形上的测地凸性，作者开发了批量和随机黎曼优化算法，其在收敛速度和可扩展性方面优于EM算法，并首次提供了对流形上随机黎曼梯度的非渐近收敛分析。

ABSTRACT

We consider maximum likelihood estimation for Gaussian Mixture Models (Gmms). This task is almost invariably solved (in theory and practice) via the Expectation Maximization (EM) algorithm. EM owes its success to various factors, of which is its ability to fulfill positive definiteness constraints in closed form is of key importance. We propose an alternative to EM by appealing to the rich Riemannian geometry of positive definite matrices, using which we cast Gmm parameter estimation as a Riemannian optimization problem. Surprisingly, such an out-of-the-box Riemannian formulation completely fails and proves much inferior to EM. This motivates us to take a closer look at the problem geometry, and derive a better formulation that is much more amenable to Riemannian optimization. We then develop (Riemannian) batch and stochastic gradient algorithms that outperform EM, often substantially. We provide a non-asymptotic convergence analysis for our stochastic method, which is also the first (to our knowledge) such global analysis for Riemannian stochastic gradient. Numerous empirical results are included to demonstrate the effectiveness of our methods.

研究动机与目标

• 为解决标准非线性优化方法在处理GMM中协方差矩阵正定约束方面的局限性。
• 为GMM参数估计开发一种可扩展的EM算法替代方案，避免在高维空间中的收敛瓶颈。
• 通过重构似然函数以确保测地凸性，实现在正定矩阵黎曼流形上的高效优化。
• 为流形上的随机黎曼梯度下降提供非渐近收敛分析，适用于惩罚GMM似然最大化问题。
• 在具有不同维度和分量数的多样化真实世界数据集上，展示黎曼优化的有效性。

提出的方法

• 重构GMM对数似然最大化问题，以确保在正定矩阵流形上的测地凸性，克服朴素黎曼方法的失败。
• 利用正定流形的黎曼几何，将GMM估计表示为约束优化问题，从而内在地保持协方差矩阵的正定性。
• 使用重投影和向量传输技术，开发了基于指数映射和欧氏重投影的批量和随机黎曼优化算法，以提高计算效率。
• 应用具有指数步长衰减的黎曼随机梯度下降（RSGD），使用等于数据维度的批量大小，以增强可扩展性。
• 利用问题结构，实现在流形上高效计算梯度和Hessian近似。
• 使用平行移动和重投影技术，在优化过程中保持数值稳定性并加速收敛。

实验结果

研究问题

• RQ1 黎曼优化框架能否成功应用于GMM参数估计，从而克服标准非线性方法的局限性？
• RQ2 为何GMM似然的朴素黎曼公式化无法与EM竞争，如何重构问题几何以实现有效的黎曼优化？
• RQ3 随机黎曼优化能否在大规模GMM问题上实现比EM更快的收敛速度？
• RQ4 流形上随机黎曼梯度下降的非渐近收敛行为如何，能否对GMM问题进行理论分析？
• RQ5 所提出的黎曼框架在具有不同维度和分量数的真实世界数据集上如何扩展？

主要发现

• 所提出的GMM似然问题重构使得黎曼优化在收敛速度上优于EM，在合成数据集和真实世界数据集中均观察到显著提升。
• 黎曼随机梯度下降（RSGD）在目标函数值上实现快速初始增长，表现出优于EM及其他方法的早期收敛性能。
• 确定性黎曼优化方法在所有测试数据集（包括corel、yearpredict、wine和自然图像）上的表现与EM相当或更优。
• 对黎曼随机梯度下降的非渐近收敛分析得出了O(1/√T)的迭代复杂度界，这是首个针对随机黎曼优化的此类结果。
• 实证结果表明，使用欧氏重投影的RSGD与计算成本更高的指数映射性能相当，表明计算高效的重投影足以实现有效优化。
• 该方法在多样化参数设置和数据维度下具有鲁棒性，相较于EM及其他标准求解器（如LBFGS和共轭梯度）表现出一致的性能提升。