[论文解读] A hybrid sampler for Poisson-Kingman mixture models

María Lomelí, Stefano Favaro+1 more|arXiv (Cornell University)|Sep 24, 2015

Bayesian Methods and Mixture Models参考文献 26被引用 4

一句话总结

本文提出了一种用于Poisson-Kingman混合模型的新型混合马尔可夫链蒙特卡洛（MCMC）采样器，结合了条件采样与边际化采样的优势，实现了高效的后验推断。该方法采用无限维分量的紧凑表示，相较于现有方法，在多个基准模型中均实现了更快的运行时间与更高的有效样本大小（ESS）。

ABSTRACT

This paper concerns the introduction of a new Markov Chain Monte Carlo scheme for posterior sampling in Bayesian nonparametric mixture models with priors that belong to the general Poisson-Kingman class. We present a novel compact way of representing the infinite dimensional component of the model such that while explicitly representing this infinite component it has less memory and storage requirements than previous MCMC schemes. We describe comparative simulation results demonstrating the efficacy of the proposed MCMC algorithm against existing marginal and conditional MCMC samplers.

研究动机与目标

• 解决具有无限维分量的贝叶斯非参数混合模型中后验推断的计算挑战。
• 开发一种适用于广义Poisson-Kingman过程（包括标准化稳定过程与广义伽马过程）的通用MCMC算法。
• 将条件采样与边际化采样的优势——高效存储与良好混合性——整合进统一框架。
• 通过提供无限随机测度的可扩展紧凑表示，实现概率编程中的自动化推断。
• 提升具有重尾或非共轭似然模型的计算效率与采样质量。

提出的方法

• 提出一种混合MCMC方案，结合条件采样（无限分量的有限截断）与边际化（消除无限维），在计算成本与混合性之间取得平衡。
• 引入利用Lévy测度的大小加权顺序统计量表示无限维随机概率测度的紧凑形式，降低内存与存储需求。
• 在Gibbs采样中引入马尔可夫链蒙特卡洛（Metropolis-Hastings）步骤以更新截断水平与权重，提升混合性同时保持可处理性。
• 利用数据诱导的划分的交换性，推导出簇分配与权重的高效条件分布。
• 应用原子及其质量的大小加权表示，实现Poisson-Kingman框架下杆断过程的高效模拟。
• 采用混合方案，通过大小加权权重隐式表示无限分量，避免显式存储所有分量，同时保持完整的后验推断能力。

实验结果

研究问题

• RQ1 对于Poisson-Kingman混合模型，混合MCMC采样器是否能在运行时间与有效样本大小（ESS）方面优于边际化与条件采样器？
• RQ2 是否能够以紧凑方式表示Poisson-Kingman过程的无限维分量，从而减少内存使用而不牺牲采样效率？
• RQ3 该混合采样器在不同Lévy测度（如稳定过程与广义伽马过程）下的性能表现如何？
• RQ4 该混合方法是否可推广至现有采样器表现不佳的非共轭与重尾模型？
• RQ5 在混合框架中，Metropolis-Hastings提议分布的选择对混合性与接受率有何影响？

主要发现

• 在所有测试模型中，包括归一化广义伽马与稳定过程，混合采样器的运行时间更短且ESS更高，优于边际化与条件采样器。
• 在σ = 0.5情况下，混合采样器耗时4157.8秒（ESS = 5104.7），而边际采样器耗时7685.8秒（ESS = 3587.7）。
• 在σ = 0.3情况下，混合采样器（Hybrid-MH，λ=50）耗时4686.4秒（ESS = 4343.6），优于边际采样器（7685.8秒，ESS=3587.7）与条件采样器（ESS未提供）。
• 对于-logBeta(1,2)模型，混合采样器是唯一可行方案，耗时2520.6秒（ESS = 3068.2），表明其在非共轭设置下的鲁棒性。
• Hybrid-MH变体表现具有竞争力，但接受率欠佳，表明提议设计仍有改进空间。
• 所提出的紧凑表示在降低内存与存储需求的同时，实现了完整的后验推断，克服了以往条件采样与边际化方案的局限。