[论文解读] Fitting A Mixture Distribution to Data: Tutorial

Benyamin Ghojogh, Aydin Ghojogh+2 more|arXiv (Cornell University)|Jan 20, 2019

Bayesian Methods and Mixture Models参考文献 2被引用 8

一句话总结

本教程以逐步讲解的方式介绍如何使用期望最大化（EM）算法，仅基于微积分和线性代数知识，将混合分布拟合到数据。它展示了如何对高斯分布（连续型）和泊松分布（离散型）进行混合拟合，表明EM算法能有效捕捉单一分布拟合失败的多模态数据结构。

ABSTRACT

This paper is a step-by-step tutorial for fitting a mixture distribution to data. It merely assumes the reader has the background of calculus and linear algebra. Other required background is briefly reviewed before explaining the main algorithm. In explaining the main algorithm, first, fitting a mixture of two distributions is detailed and examples of fitting two Gaussians and Poissons, respectively for continuous and discrete cases, are introduced. Thereafter, fitting several distributions in general case is explained and examples of several Gaussians (Gaussian Mixture Model) and Poissons are again provided. Model-based clustering, as one of the applications of mixture distributions, is also introduced. Numerical simulations are also provided for both Gaussian and Poisson examples for the sake of better clarification.

研究动机与目标

• 为初学者提供一份友好、分步式的指南，仅使用微积分和线性代数知识，将混合分布拟合到数据。
• 演示EM算法在连续（高斯）和离散（泊松）情况下估计混合参数的应用。
• 通过模拟实验表明，混合模型在捕捉多模态数据结构方面优于单一分布拟合。
• 介绍基于模型的聚类作为混合分布的关键应用。
• 提供清晰的初始化策略和收敛性监控方法，以支持实际实现。

提出的方法

• 使用期望最大化（EM）算法，迭代估计混合权重 $ w_k $、分量参数 $ \Theta_k $ 和分量分布 $ g_k(x; \Theta_k) $。
• 先将EM算法应用于两个分量的混合作为特例，再推广到 $ K $ 个分量。
• 对于高斯混合，使用均值为 $ \mu_k $、协方差为 $ \Sigma_k $ 的多元正态密度函数，并通过EM估计参数。
• 对于泊松混合，使用泊松概率质量函数 $ \frac{e^{-\lambda_k} \lambda_k^x}{x!} $，并通过EM估计 $ \lambda_k $ 和 $ w_k $。
• 通过在数据范围内对 $ \lambda_k $ 和 $ w_k $ 使用均匀分布进行初始化，并以最大似然估计（MLE）结果作为起始点。
• 通过跟踪迭代过程中 $ \lambda_k $ 和 $ w_k $ 的参数变化来监控收敛性，当变化量低于阈值时确认收敛。

实验结果

研究问题

• RQ1 如何仅使用基本数学知识，将混合分布拟合到数据？
• RQ2 EM算法在估计具有多个分量的混合模型参数时起什么作用？
• RQ3 高斯混合模型和泊松混合模型与单一分布拟合相比，在捕捉多模态数据方面表现如何？
• RQ4 在混合分布拟合中，EM算法的有效初始化策略有哪些？
• RQ5 在实践中，如何监控和验证EM算法的收敛性？

主要发现

• EM算法成功估计出三个高斯混合的参数：$ \mu_1=1.66 $，$ \sigma_1=0.85 $，$ w_1=0.328 $，$ \mu_2=6.72 $，$ \sigma_2=1.12 $，$ w_2=0.256 $，$ \mu_3=12.85 $，$ \sigma_3=1.35 $，$ w_3=0.416 $，与数据的多模态结构完全匹配。
• 三个泊松混合被准确拟合，参数为：$ \lambda_1=1.66 $，$ w_1=0.328 $，$ \lambda_2=6.72 $，$ w_2=0.256 $，$ \lambda_3=12.85 $，$ w_3=0.416 $，证实了该模型能够捕捉复杂的离散多模态结构。
• 模拟结果表明，通过MLE进行的单一分布拟合无法捕捉数据的多模态性，而混合模型则成功再现了潜在的分量分布。
• 通过图示参数轨迹的稳定性，视觉上确认了高斯和泊松混合模型的参数收敛性。
• 采用在数据范围内对 $ \lambda_k $ 和 $ w_k $ 使用均匀分布的初始化策略，在连续和离散情况下均实现了可靠的收敛。
• 作为分量密度的加权和，混合分布准确地表示了经验数据分布，经由图5和图9的视觉对比验证。