[论文解读] Bayesian inference of Gaussian mixture models with noninformative priors

Colin J. Stoneking|arXiv (Cornell University)|May 19, 2014

Bayesian Methods and Mixture Models参考文献 27被引用 8

一句话总结

本文提出了一种新型高斯混合模型，通过为每个分量强制执行最小数据分配，使非信息性不当先验（如 Jeffreys 先验）得以使用，从而在无需主观先验调参的情况下确保后验分布的合理性。该方法采用带约束参数提议的 MCMC 抽样，实现高效的后验探索，克服了标准混合模型在使用非信息性先验时常见的后验不当问题。

ABSTRACT

This paper deals with Bayesian inference of a mixture of Gaussian distributions. A novel formulation of the mixture model is introduced, which includes the prior constraint that each Gaussian component is always assigned a minimal number of data points. This enables noninformative improper priors such as the Jeffreys prior to be placed on the component parameters. We demonstrate difficulties involved in specifying a prior for the standard Gaussian mixture model, and show how the new model can be used to overcome these. MCMC methods are given for efficient sampling from the posterior of this model.

研究动机与目标

• 解决在高斯混合模型中使用非信息性先验的挑战，因为标准不当先验会导致后验不当。
• 消除对主观或弱信息先验参数化的依赖，以避免先验主导和敏感性问题。
• 开发一种模型，使 Jeffreys 先验可被使用，同时通过每个分量的最小数据点约束确保后验合理性。
• 提供一种客观、数据驱动的高斯混合模型贝叶斯推断方法，避免数据依赖先验，同时保持频率学派覆盖性质。

提出的方法

• 提出一种改进的 GMM 建模方式，强制每个高斯分量至少分配最小数量的数据点，即使在使用不当先验时也能确保后验合理性。
• 采用带约束提议分布的 Metropolis-Hastings MCMC 算法，对均值和标准差进行限制，分别限制在区间 [μ_min, μ_max] 和 [σ_min, ∞)，以改善混合效果。
• 为分量分配 G 设计一种数据依赖性提议，其与均匀分量权重下的似然成正比，以提高抽样效率。
• 对 μ 和 σ 使用对称随机游走提议，通过反射或包裹处理保持约束，并在接受概率中使用提议密度之比。
• 通过在 μ 和 σ 上施加边界来近似 Jeffreys 先验，避免使用精确的不当先验，同时保持客观推断。
• 使用一种先验 π*(G)，对违反最小数据分配约束的配置设为零，从而仅考虑有效的分量分配。

实验结果

研究问题

• RQ1 非信息性不当先验（如 Jeffreys 先验）是否可以在高斯混合模型中有意义地使用，而不会导致后验不当？
• RQ2 强制每个分量分配最小数量的数据点，是否能消除对弱信息或主观先验规格化的需求？
• RQ3 与使用弱信息先验的标准 GMM 相比，所提模型在后验敏感性和收敛性方面表现如何？
• RQ4 在参数空间受约束的条件下，MCMC 抽样是否能实现高效且稳定？

主要发现

• 所提模型通过为每个分量强制执行最小数据分配，即使在使用不当先验时也能确保后验合理性，从而解决了标准 GMM 中后验非合理性的根本问题。
• 该方法避免了弱信息先验常见的先验主导和敏感性问题，如在简单数据集上的实验所示，此类先验会导致荒谬的后验行为。
• 对 μ 和 σ 使用约束提议的 MCMC 抽样显著改善了链的混合与收敛，实现了可靠的后验推断。
• 该模型实现了二阶正确的频率学派覆盖，与数据依赖先验相似，但并未使先验本身依赖数据，从而保持了贝叶斯一致性。
• 该方法允许使用 Jeffreys 先验进行客观推断，因为最小数据约束确保了后验合理性，而无需引入主观参数。