[论文解读] Dynamic mixtures of finite mixtures and telescoping sampling

Sylvia Frühwirth‐Schnatter, Gertraud Malsiner‐Walli+1 more|arXiv (Cornell University)|May 20, 2020

Bayesian Methods and Mixture Models参考文献 36被引用 4

一句话总结

本文提出了一种动态有限混合模型（MFMs）的新型伸缩采样器，实现了对具有任意分量分布的模型进行高效贝叶斯推断。通过允许狄利克雷浓度参数依赖于分量数量，并对K引入灵活的先验，该方法在保持计算可行性的同时，将MFMs与贝叶斯非参数混合模型联系起来。

ABSTRACT

Within a Bayesian framework, a comprehensive investigation of the model class of mixtures of finite mixtures (MFMs) where a prior on the number of components is specified is performed. This model class has applications in model-based clustering as well as for semi-parametric density approximation, but requires suitable prior specifications and inference methods to exploit its full potential. We contribute to the Bayesian analysis of MFMs by (1) considering static and dynamic MFMs where the Dirichlet parameter of the component weights either is fixed or depends on the number of components, (2) proposing a flexible prior distribution class for the number of components $K$, (3) characterizing the implicit prior on the number of clusters $K_+$ as well as partitions by deriving computationally feasible formulas, (4) linking MFMs to Bayesian non-parametric mixtures, and (5) finally proposing a novel sampling scheme for MFMs called the telescoping sampler which allows Bayesian inference for mixtures with arbitrary component distributions. The telescoping sampler explicitly samples the number of components, but otherwise requires only the usual MCMC steps for estimating a finite mixture model. The ease of its application using different component distributions is demonstrated on real data sets.

研究动机与目标

• 开发一种灵活的贝叶斯框架用于有限混合模型（MFMs），以支持基于模型的聚类和半参数密度估计。
• 解决在MFMs中对分量数量K的先验设定挑战，特别是如何诱导适当的聚类行为。
• 通过刻画对聚类数量K+和划分结构的隐含先验，建立MFMs与贝叶斯非参数混合模型之间的联系。
• 设计一种可扩展且通用的MCMC采样方案——称为伸缩采样器——该方法显式采样K，同时保留在其他参数估计中的标准MCMC步骤。

提出的方法

• 提出一种动态MFM模型，允许分量权重的狄利克雷浓度参数依赖于分量数量K。
• 引入K的灵活先验类，以实现对聚类数量信念的控制。
• 推导出MFMs先验诱导的聚类数量K+和划分结构的隐含先验的计算可行公式。
• 建立MFMs与贝叶斯非参数混合模型之间的理论联系，特别是在K增大时的极限情形。
• 开发伸缩采样器，一种新颖的MCMC算法，显式采样K，并与标准有限混合MCMC更新无缝集成。
• 将伸缩采样器应用于具有任意分量分布的模型，展示了其在真实数据上的通用性和可扩展性。

实验结果

研究问题

• RQ1 如何使有限混合模型中狄利克雷浓度参数对分量数量自适应，以提升聚类性能？
• RQ2 在MFMs中，对K的先验所诱导的聚类数量K+和划分结构的隐含先验分布是什么？
• RQ3 如何系统性地将MFMs与贝叶斯非参数混合模型联系起来？
• RQ4 能否为MFMs设计一种通用的MCMC采样器，以支持任意分量分布并实现对K的高效推断？
• RQ5 与标准MCMC方法相比，所提出的伸缩采样器在真实世界聚类和密度估计任务中的实证性能如何？

主要发现

• 所提出的动态MFM模型允许狄利克雷浓度参数随K变化，从而实现更自适应且更真实的聚类行为。
• 推导出的K+和划分结构的隐含先验公式，使在MFMs中对聚类先验信念的精确控制和解释成为可能。
• 正式建立了MFMs与贝叶斯非参数混合模型之间的联系，表明MFMs可作为具有明确定义渐近性质的有限近似。
• 伸缩采样器通过显式采样K并结合标准MCMC步骤，实现了对具有任意分量分布的MFMs的高效贝叶斯推断。
• 真实数据的实证结果表明，伸缩采样器在多种分量分布和聚类任务中均展现出实际效用和可扩展性。