[论文解读] Sequential Bayesian inference for mixture models and the coalescent using sequential Monte Carlo samplers with transformations

Richard G. Everitt, Richard Culliford+2 more|arXiv (Cornell University)|Dec 20, 2016

Bayesian Methods and Mixture Models被引用 7

一句话总结

本文提出一种带变换的顺序蒙特卡洛（SMC）采样器，用于在维度变化的后验分布序列（如高斯混合模型和共祖树推断）上进行贝叶斯推断。通过在目标空间之间使用双射变换，并结合自适应、多路径SMC方法，该方法实现了对复杂高维模型的高效、灵活且可扩展的推断，适用于数据顺序到达的场景。

ABSTRACT

This paper introduces methodology for performing Bayesian inference sequentially on a sequence of posteriors on spaces of different dimensions. We show how this may be achieved through the use of sequential Monte Carlo (SMC) samplers (Del Moral et al., 2006, 2007), making use of the full flexibility of this framework in order that the method is computationally efficient. In particular we introduce the innovation of using a sequence of distributions that are defined on spaces between which bijective transformations exist, using these transformations to move particles effectively between one target distribution and the next. This approach, combined with adaptive methods and the use of multiple routes between targets, yields an extremely flexible and general algorithm for tackling the aforementioned situation. We demonstrate this approach on the well-studied problem of model comparison for mixture models, and for the novel application of inferring coalescent trees sequentially, as data arrives.

研究动机与目标

• 开发一种通用框架，用于在后验分布定义于不同维度空间时进行顺序贝叶斯推断。
• 解决在计算效率方面，如何在维度不同的目标之间移动粒子的挑战。
• 在有限混合模型和共祖树等复杂模型中，实现可扩展且自适应的推断。
• 支持在线推断，即在新数据陆续到达时实时更新后验分布。

提出的方法

• 该方法采用顺序蒙特卡洛（SMC）采样器，将粒子在维度递增的一系列目标分布之间传播。
• 使用双射变换在不同维度空间的目标分布之间映射粒子，确保粒子传播的有效性。
• 自适应重采样和多条过渡路径的设计提升了粒子多样性并减少了退化现象。
• 该框架整合了灵活的提议机制，并充分利用SMC的全部灵活性，以在所有目标之间保持较高的有效样本量。
• 变换设计旨在保持后验结构的同时，实现模型间维度一致的移动。
• 该方法通过顺序更新后验分布支持在线学习，同时保持计算效率。

实验结果

研究问题

• RQ1 如何在维度不同的后验分布序列上高效地执行贝叶斯推断？
• RQ2 在不同维度空间之间使用双射变换是否能有效提升SMC采样器中的粒子传播？
• RQ3 自适应SMC方法在从高维模型过渡到低维模型时，如何维持较高的有效样本量？
• RQ4 该方法在有限混合模型中对模型比较的改进程度如何？
• RQ5 该框架能否扩展至遗传数据累积过程中的共祖树顺序推断？

主要发现

• 所提出的带变换的SMC采样器能够在维度不同的后验分布序列上实现高效且准确的推断。
• 使用双射变换显著提升了粒子在不同目标之间的移动效率，减少了退化现象并加快了收敛速度。
• 自适应重采样与多条过渡路径显著增强了高维模型空间中粒子的多样性与鲁棒性。
• 该方法在所有目标上均实现了较高的有效样本量，表现出良好的稳定性与可扩展性。
• 该框架成功支持了共祖树估计中的顺序推断，这是SMC方法此前尚未解决的新应用。
• 实验结果表明，该方法在混合模型的模型比较中表现优异，能可靠估计模型证据与后验模型概率。