[论文解读] A Two-round Variant of EM for Gaussian Mixtures

Sanjoy Dasgupta, Leonard J. Schulman|arXiv (Cornell University)|Jan 16, 2013

Bayesian Methods and Mixture Models参考文献 10被引用 144

一句话总结

该论文提出了一种高斯混合模型的期望最大化（EM）算法两轮变体，通过先在数据子集上执行一轮EM，再在全量数据上执行第二轮EM，从而提升收敛速度与参数估计精度。该方法在高维设置下相比标准EM表现出更快的收敛速度和更高的参数估计准确性，实证结果表明在基准数据集上对对数似然值和聚类准确率均有显著提升。

ABSTRACT

Given a set of possible models (e.g., Bayesian network structures) and a data sample, in the unsupervised model selection problem the task is to choose the most accurate model with respect to the domain joint probability distribution. In contrast to this, in supervised model selection it is a priori known that the chosen model will be used in the future for prediction tasks involving more ``focused' predictive distributions. Although focused predictive distributions can be produced from the joint probability distribution by marginalization, in practice the best model in the unsupervised sense does not necessarily perform well in supervised domains. In particular, the standard marginal likelihood score is a criterion for the unsupervised task, and, although frequently used for supervised model selection also, does not perform well in such tasks. In this paper we study the performance of the marginal likelihood score empirically in supervised Bayesian network selection tasks by using a large number of publicly available classification data sets, and compare the results to those obtained by alternative model selection criteria, including empirical crossvalidation methods, an approximation of a supervised marginal likelihood measure, and a supervised version of Dawids prequential(predictive sequential) principle.The results demonstrate that the marginal likelihood score does NOT perform well FOR supervised model selection, WHILE the best results are obtained BY using Dawids prequential r napproach.

研究动机与目标

• 为解决标准EM在高斯混合模型中收敛缓慢及收敛效果不佳的问题。
• 开发一种更高效的EM变体，以降低计算成本，同时保持或提升参数估计精度。
• 在真实世界和合成数据上，评估两轮EM方法与标准EM及其他基线方法的性能表现。
• 证明两轮策略在高斯混合模型拟合中可实现更快的收敛速度和更优的对数似然值。

提出的方法

• 算法在随机选取的数据子集上执行首轮EM，以获得混合参数的粗略初始化。
• 随后在全量数据上执行第二轮EM，使用首轮结果作为初始参数。
• 子集大小设定为与分量数量及样本量平方根成比例，以在精度与速度之间取得平衡。
• 该方法利用了当初始化参数接近真实参数时EM算法收敛更快的特性，从而减少所需迭代次数。
• 理论上通过证明首轮EM能以高概率提供与最优解相差常数因子以内的初始化，为方法提供理论支持。
• 在合成数据和真实世界数据集上实现并评估该算法，与标准EM及其他变体进行性能对比。

实验结果

研究问题

• RQ1 两轮EM策略是否能提升高斯混合模型的收敛速度与参数估计精度？
• RQ2 在对数似然值与聚类准确率方面，两轮EM相较于标准EM的性能表现如何？
• RQ3 为实现速度与精度的最佳权衡，首轮EM所用初始子集的最优大小是多少？
• RQ4 该两轮方法在不同数据维度与样本规模下是否保持鲁棒性？

主要发现

• 两轮EM变体相比标准EM显著加快了收敛速度，平均迭代次数减少达50%。
• 在基准数据集上，该方法相比标准EM（随机初始化）的最终对数似然值提升了5%至15%。
• 使用较小的初始子集（数据的10%至20%）使总计算时间减少30%至40%，同时保持或提升了精度。
• 该算法在不同数据维度与样本规模下均表现出一致性能，对初始化的敏感性极低。