[论文解读] A constructive definition of the beta process

John Paisley, Michael I. Jordan|arXiv (Cornell University)|Apr 3, 2016

Bayesian Methods and Mixture Models参考文献 28被引用 4

一句话总结

本文通过有限筛逼近和泊松过程理论，提出了一种贝塔过程的构造性棒断定义，实现了贝塔-伯努利和贝塔-负二项分布模型的高效后验抽样。主要贡献在于截断边界分析和一种将可观测原子与不可观测原子分离的后验抽样方案，从而在贝叶斯非参数模型中实现可扩展的推断。

ABSTRACT

We derive a construction of the beta process that allows for the atoms with significant measure to be drawn first. Our representation is based on an extension of the Sethuraman (1994) construction of the Dirichlet process, and therefore we refer to it as a stick-breaking construction. Our first proof uses a limiting case argument of finite arrays. To this end, we present a finite sieve approximation to the beta process that parallels that of Ishwaran & Zarepour (2002) and prove its convergence to the beta process. We give a second proof of the construction using Poisson process machinery. We use the Poisson process to derive almost sure truncation bounds for the construction. We conclude the paper by presenting an efficient sampling algorithm for beta-Bernoulli and beta-negative binomial process models.

研究动机与目标

• 开发一种贝塔过程的构造性棒断表示，允许优先抽样具有显著测度的原子。
• 提出贝塔过程的有限筛逼近，并证明其在极限下收敛于真实过程。
• 利用泊松过程工具推导棒断构造的几乎必然截断边界。
• 通过将可观测原子与不可观测原子分离，实现贝塔-伯努利和贝塔-负二项分布模型的高效后验抽样。
• 建立一个实用的框架，以实现贝叶斯非参数潜因子模型中的可扩展推断。

提出的方法

• 通过离散化基测度并运用极限情形论证，构建有限筛逼近，证明其收敛于贝塔过程。
• 通过扩展Sethuraman的狄利克雷过程构造方法，推导棒断构造，其中权重从Beta(1, α(θ))抽取，原子从基测度μ中抽取。
• 利用泊松过程理论推导棒断表示的几乎必然截断边界，确保以高概率实现有限截断。
• 后验抽样通过将后验分解为可观测原子（权重服从贝塔分布）和不可观测原子（从先验的截断棒断构造中抽样）来实现。
• 对于贝塔-伯努利和贝塔-负二项分布过程，后验通过结合原子特定的贝塔后验与先验的下采样实现。
• 该方法将后验分解为有限可观测原子集与无限不可观测分量，通过截断实现高效计算。

实验结果

研究问题

• RQ1 能否推导出一种贝塔过程的构造性棒断定义，使得显著测度的原子可被顺序抽样？
• RQ2 贝塔过程的有限筛逼近是否在极限下收敛于真实贝塔过程？
• RQ3 能否利用泊松过程理论推导棒断构造的几乎必然截断边界？
• RQ4 如何高效地对贝塔-伯努利和贝塔-负二项分布过程模型进行后验抽样？
• RQ5 能否将后验分布分解为可观测与不可观测分量，以实现可扩展推断？

主要发现

• 随着原子数量的增加，贝塔过程的有限筛逼近以几乎必然收敛于真实贝塔过程。
• 贝塔过程的棒断构造通过极限情形论证和泊松过程工具的第二种证明方法得到证实。
• 推导出棒断构造的几乎必然截断边界，确保以高概率实现有限截断。
• 贝塔-伯努利过程的后验抽样通过结合来自贝塔后验的可观测原子权重与截断棒断构造的先验下采样实现。
• 对于贝塔-负二项分布过程，后验抽样采用类似方案：可观测原子由贝塔后验加权，不可观测原子从截断先验中抽样，并由一个Beta(α(θ), nr)变量子下采样。
• 该方法通过将后验分解为有限可观测原子集与计算上可处理的不可观测分量，实现了高效且可扩展的推断。