[论文解读] Bayesian Inference on Mixtures of Distributions

Kate Lee, Jean‐Michel Marin+2 more|ArXiv.org|Apr 15, 2008

Bayesian Methods and Mixture Models参考文献 41被引用 37

一句话总结

本文提出适用于有限混合模型的先进贝叶斯推断技术，重点关注多项分布、潜在类别和t分布的混合。通过引入对称化估计量校正MCMC采样中的标签切换问题，并利用排列平均化的Chib近似改进边缘似然估计，实现了离散设定下更精确的模型比较和精确后验计算。

ABSTRACT

This survey covers state-of-the-art Bayesian techniques for the estimation of mixtures. It complements the earlier Marin, Mengersen and Robert (2005) by studying new types of distributions, the multinomial, latent class and t distributions. It also exhibits closed form solutions for Bayesian inference in some discrete setups. Lastly, it sheds a new light on the computation of Bayes factors via the approximation of Chib (1995).

研究动机与目标

• 将贝叶斯推断技术从指数族扩展至多项分布、潜在类别和t分布等更广泛的分布族。
• 解决有限混合模型MCMC采样中的标签切换问题，该问题会扭曲后验推断和边缘似然估计。
• 通过引入排列平均化，改进Chib（1995）边缘似然近似在贝叶斯因子计算中的准确性。
• 在离散混合模型中实现精确后验计算，为评估MCMC方法提供基准。
• 为贝叶斯分析中混合模型的先验建模与MCMC实现提供实用指导。

提出的方法

• 采用潜变量表示法建模混合成分，通过条件后验分布实现完整的贝叶斯推断。
• 应用Gibbs采样进行后验近似，重点使用共轭先验以在离散情形下实现解析计算。
• 通过在所有成分标签排列上取平均，引入对称化估计量以降低方差并校正标签切换偏差。
• 采用Chib（1995）边缘似然近似的排列平均版本，以更准确地估计贝叶斯因子。
• 利用Rao-Blackwellization和对称性利用（遵循Kong等，2003）以提高后验估计的蒙特卡洛效率。
• 对于高维成分数量（J > 5），采用排列的随机子样本以在保持准确性的同时维持计算可行性。

实验结果

研究问题

• RQ1 如何校正有限混合模型MCMC采样中的标签切换问题，以改善后验和边缘似然估计？
• RQ2 排列平均化对Chib（1995）边缘似然近似在混合模型中的准确性有何影响？
• RQ3 在哪些离散混合设定中可实现无需蒙特卡洛近似的精确后验计算？
• RQ4 原始估计与对称化Chib近似之间的差异如何反映MCMC链的混合行为？
• RQ5 基于对称化边缘似然估计，混合模型的最优成分数量（J）是多少？

主要发现

• 在星系数据集中，对于J=3，对称化Chib近似将边缘似然估计值从-105.1396修正为-103.3479，成功校正了标签切换偏差。
• 对于J=3，原始估计与对称化估计之间的差异为1.7918，与log(3!) = 1.7918的理论预期一致，表明当各模式充分分离时校正有效。
• 对于J=4和J=5，原始估计与对称化估计之间的差异小于log(J!)，表明模式重叠增加，log(J!)校正效果减弱。
• 基于对称化边缘似然估计，星系数据集支持J=5为最优成分数量，其估计值范围从-101.93（J=5）到-108.44（J=8）。
• 在使用均匀先验的双类潜在类别模型中，J=2的对数边缘似然为-523.2978，显著高于J=1的-552.0402，支持采用双类模型。
• 在离散混合模型（如多项分布混合）中可实现精确后验计算，为验证基于MCMC的推断方法提供了基准。