[论文解读] Gradient-based training of Gaussian Mixture Models in High-Dimensional Spaces

Alexander Gepperth, Benedikt Pfülb|arXiv (Cornell University)|Sep 25, 2019

Gaussian Processes and Bayesian Inference参考文献 21被引用 4

一句话总结

本文提出了一种基于梯度的高维空间高斯混合模型（GMMs）训练方法，采用随机梯度下降（SGD）优化，利用对数似然的数值稳定下界，实现在大规模非平稳数据集上的高效、内存高效的训练。该方法在对数似然性能上与期望最大化（EM）算法相当，同时支持小批量训练并显著缩短训练时间。

ABSTRACT

We present an approach for efficiently training GMMs solely with Stochastic Gradient Descent (SGD) on huge amounts of non-stationary, high-dimensional data. In such scenarios, SGD is superior to the traditionally Expectation-Maximization (EM) algorithm w.r.t. execution time and memory usage, and additional admits the use of small batch sizes. To use SGD in high-dimensional spaces, we propose to maximize a lower bound of a GMMs log-likelihood, which we prove to be feasible, justifiable by experiments and numerically stable. Since SGD seems more prone to get stuck in local optima than EM during early training phases, we introduce an annealing procedure that initially penalizes a large class of degenerate solutions before transitioning into a normal training regime. Experiments on several image datasets show that our approach is realizable, efficient and achieves comparable log-likelihood values as EM in a variety of scenarios. A TensorFlow implementation is provided to allow for reproduction.

研究动机与目标

• 解决期望最大化（EM）算法在高维、大规模、非平稳数据设置下的低效问题。
• 在EM算法计算上不可行的高维空间中，实现端到端的GMM SGD训练。
• 设计一个数值稳定的目标函数，作为真实GMM对数似然的下界，适用于SGD优化。
• 通过引入结构化的退火程序，缓解SGD在早期训练中收敛至次优局部极小值的倾向。
• 证明基于SGD的GMM训练在真实世界图像数据集上的对数似然性能可与EM算法相媲美。

提出的方法

• 最大化GMM对数似然的下界而非精确似然，以确保SGD优化过程中的数值稳定性。
• 设计目标函数，使其保持可微分性，适用于高维设置下的小批量训练。
• 引入退火调度，初始阶段对退化解（如坍塌的分量）施加惩罚，以提升早期训练的优化稳定性。
• 随时间逐步减小惩罚项，从正则化阶段平滑过渡到标准SGD训练。
• 利用重参数化技巧与蒙特卡洛采样，高效估计下界梯度。
• 在TensorFlow中实现该方法，以支持可复现性并集成至深度学习流水线。

实验结果

研究问题

• RQ1 SGD能否在EM算法过于缓慢且内存消耗过大的高维空间中有效训练GMM？
• RQ2 GMM对数似然的下界是否足以实现与EM算法相当的性能？
• RQ3 所提出的退火程序是否显著改善了早期训练阶段的收敛性，并避免了次优局部极小值？
• RQ4 与EM算法相比，该方法在大规模非平稳数据集上的训练时间与内存使用量如何扩展？
• RQ5 该方法能否在支持小批量训练和在线学习的同时，实现与EM算法相当的对数似然值？

主要发现

• 所提出的GMM对数似然下界具有良好的数值稳定性，可在高维设置下通过SGD实现有效训练。
• 退火程序成功降低了早期训练中收敛至退化解的风险，显著提升了优化的可靠性。
• 该方法在图像数据集上获得的对数似然值与EM算法相当。
• 与EM相比，SGD训练显著更快且内存效率更高，尤其在大规模非平稳数据上优势明显。
• 该方法支持小批量训练，适用于在线学习，具备实际部署的可行性。
• 提供了公开的TensorFlow实现，确保完全可复现，并可无缝集成至现有机器学习工作流中。