[论文解读] Manifold Optimization for Gaussian Mixture Models

Reshad Hosseini, Suvrit Sra|arXiv (Cornell University)|Jun 25, 2015

Bayesian Methods and Mixture Models参考文献 33被引用 6

一句话总结

本文提出使用黎曼流形优化进行高斯混合模型（GMM）参数估计，证明了通过重新参数化使流形凸性成为可能，从而令该方法在性能上可与期望最大化（EM）算法相媲美，甚至在多数情况下超越EM。通过在对称正定矩阵流形上重新表述优化问题，并采用定制的流形LBFGS求解器结合高效的线搜索方法，该方法在高维或病态条件设置下展现出更优的收敛速度与稳定性。

ABSTRACT

We take a new look at parameter estimation for Gaussian Mixture Models (GMMs). In particular, we propose using \emph{Riemannian manifold optimization} as a powerful counterpart to Expectation Maximization (EM). An out-of-the-box invocation of manifold optimization, however, fails spectacularly: it converges to the same solution but vastly slower. Driven by intuition from manifold convexity, we then propose a reparamerization that has remarkable empirical consequences. It makes manifold optimization not only match EM---a highly encouraging result in itself given the poor record nonlinear programming methods have had against EM so far---but also outperform EM in many practical settings, while displaying much less variability in running times. We further highlight the strengths of manifold optimization by developing a somewhat tuned manifold LBFGS method that proves even more competitive and reliable than existing manifold optimization tools. We hope that our results encourage a wider consideration of manifold optimization for parameter estimation problems.

研究动机与目标

• 解决长期以来在GMM中应用非线性优化方法的挑战，原因在于协方差矩阵的正定性约束。
• 克服标准流形优化在GMM中表现不佳的问题，即收敛缓慢且难以匹配EM的性能。
• 提出一种重新参数化策略，使单分量GMM的对数似然函数在流形上呈现凸性，从而实现有效优化。
• 设计一种鲁棒的流形LBFGS求解器，结合先进的线搜索过程，以提升收敛性与性能。
• 通过实验验证，流形优化在合成数据与真实世界数据集上，可实现与EM相当甚至更优的收敛速度、一致性和鲁棒性。

提出的方法

• 将GMM参数估计表述为在对称正定矩阵流形上的优化问题，隐式地满足正定性约束。
• 引入使用矩阵对数对协方差矩阵进行重新参数化，将问题转换到一个空间，在该空间中单高斯分布的对数似然函数变为测地线凸函数。
• 实现一种带有信赖域类似线搜索的流形LBFGS算法，确保在黎曼流形上的充分下降与收敛性。
• 利用ManOpt工具箱实现流形共轭梯度（CG）方法，同时开发一种新型、经调优的LBFGS变体以提升性能。
• 利用重新参数化空间实现高效优化，同时保持参数空间的几何结构。
• 将该方法应用于具有不同分离度与偏心率的合成数据，以及真实图像块，以评估其鲁棒性与可扩展性。

实验结果

研究问题

• RQ1 尽管初始性能较差，黎曼流形优化能否在GMM参数估计中实现与EM相当的竞争力？
• RQ2 是否存在一种几何重新参数化方法，可使对数似然函数在正定矩阵流形上呈现测地线凸性？
• RQ3 定制化的流形LBFGS方法能否在收敛速度与稳定性方面超越EM和标准流形共轭梯度方法？
• RQ4 在不同数据配置下，流形优化与EM在收敛时间与似然值方面的表现如何比较？
• RQ5 重新参数化在多大程度上降低了GMM对分量重叠及病态问题的敏感性？

主要发现

• 开箱即用的流形优化方法无法超越EM，尽管满足约束条件，但收敛速度显著更慢。
• 所提出的重新参数化方法——即使用协方差矩阵的矩阵对数——使单分量对数似然函数在测地线上呈现凸性，从而实现有效优化。
• 经重新参数化后，流形优化在似然值上与EM相当，但收敛时间显著更快且更一致。
• 在分离度较低的合成数据（c=0.2）中，K=5分量时EM耗时超过396秒，而重新参数化的LBFGS仅需156秒，实现2.5倍加速。
• 在真实图像块数据（d=35）中，K=10分量时，重新参数化的流形LBFGS耗时658秒，而EM耗时2159秒，实现3.3倍加速，且比未重新参数化的CG快26倍。
• 该方法对数据重叠不敏感，在高维或病态设置下，运行时间方差低于EM。