[论文解读] Bayesian finite mixtures: a note on prior specification and posterior computation

Agostino Nobile|ArXiv.org|Nov 3, 2007

Bayesian Methods and Mixture Models参考文献 15被引用 15

一句话总结

本文提出了一种新颖的方法，用于计算贝叶斯有限混合模型中分量数量的后验分布，主张对分量数量使用泊松(1)先验，并利用MCMC输出和边缘似然表示，提出一种计算高效的处理方法。主要贡献在于提出了一种原理严谨且可扩展的分量估计方法，并在星系数据集上验证了其性能。

ABSTRACT

A new method for the computation of the posterior distribution of the number k of components in a finite mixture is presented. Two aspects of prior specification are also studied: an argument is made for the use of a Poisson(1) distribution as the prior for k; and methods are given for the selection of hyperparameter values in the mixture of normals model, with natural conjugate priors on the components parameters.

研究动机与目标

• 开发一种可靠的方法，用于计算贝叶斯有限混合模型中分量数量的后验分布。
• 在缺乏实质性先验信息时，证明对分量数量使用泊松(1)先验的合理性。
• 为具有自然共轭先验的单变量正态混合模型提供超参数选择的实用指导。
• 利用MCMC输出和概率恒等式，改进边缘似然的数值计算。
• 以星系数据集作为基准，展示该方法的有效性。

提出的方法

• 结合Chib（1995）的基本概率恒等式与Nobile（2004）的边缘似然表示，计算分量数量的后验分布。
• 采用MCMC抽样估计空分量的频率，用于近似边缘似然。
• 通过分配向量和分量特异性概率的表示，推导出可计算的表达式。
• 推导并使用递归公式（例如，公式14、15），计算不同分量数量下的边缘似然比。
• 提出基于分散参数（τ 和 δ）中位数估计的敏感性分析程序，以指导超参数选择。
• 使用星系数据集验证该方法，并通过比较不同k值下的结果，评估模型稳定性。

实验结果

研究问题

• RQ1 在有限混合模型中，分量数量的最适当非信息先验是什么？
• RQ2 如何从MCMC输出高效计算有限混合模型的边缘似然？
• RQ3 超参数选择对正态混合模型后验推断有何影响？
• RQ4 在实际应用中，如何可靠估计分量数量的后验分布？
• RQ5 模型结构在多大程度上自然地暗示应为分量数量采用泊松(1)先验？

主要发现

• 泊松(1)分布从理论上被证明是分量数量的非信息先验，因其与模型的结构特性一致。
• 所提出的方法能够利用MCMC输出和边缘似然近似，实现对k后验分布的精确且高效的计算。
• 正态混合模型的超参数选择通过τ和δ后验中位数的敏感性分析进行指导，结果表明τ在k=4时趋于稳定，δ在k=6时趋于稳定。
• 该方法得到稳定估计，τ̂ = 0.04 且 δ̂ = 2，这些参数在后续MCMC运行中被有效使用。
• 递归公式（14）和（15）为在不同分量数量间计算边缘似然比提供了计算上可行的途径。
• 该方法在星系数据集上得到验证，显示出在实际应用中的鲁棒性和实用性。