[論文レビュー] A constructive definition of the beta process

John Paisley, Michael I. Jordan|arXiv (Cornell University)|Apr 3, 2016

Bayesian Methods and Mixture Models参考文献 28被引用数 4

ひとこと要約

本稿では、有限のスクリーン近似とポアソン過程理論を用いて、ベータ過程の構成的で棒割り分け定義を提示し、ベータ・ベルヌーイおよびベータ・負の二項分布過程モデルにおける効率的な事後分布サンプリングを可能にする。主な貢献は、切り捨て境界の解析と、観測済みの原子と未観測の原子を分離する事後分布サンプリングスキームであり、ベイズ非パラメトリックモデルにおけるスケーラブルな推論を可能にする。

ABSTRACT

We derive a construction of the beta process that allows for the atoms with significant measure to be drawn first. Our representation is based on an extension of the Sethuraman (1994) construction of the Dirichlet process, and therefore we refer to it as a stick-breaking construction. Our first proof uses a limiting case argument of finite arrays. To this end, we present a finite sieve approximation to the beta process that parallels that of Ishwaran & Zarepour (2002) and prove its convergence to the beta process. We give a second proof of the construction using Poisson process machinery. We use the Poisson process to derive almost sure truncation bounds for the construction. We conclude the paper by presenting an efficient sampling algorithm for beta-Bernoulli and beta-negative binomial process models.

研究の動機と目的

• 重要な測度を持つ原子を最初にサンプリングできる、ベータ過程の構成的で棒割り分け表現を開発すること。
• ベータ過程に対する有限のシーブ近似を提供し、その極限において真の過程に収束することを証明すること。
• ポアソン過程の道具立てを用いて、棒割り分け構成に対する確実な切り捨て境界を導出すること。
• 観測済みの原子と未観測の原子を分離することで、ベータ・ベルヌーイおよびベータ・負の二項分布過程モデルにおける効率的な事後分布サンプリングを可能にすること。
• ベイズ非パラメトリック潜在因子モデルにおけるスケーラブルな推論の実用的フレームワークを確立すること。

提案手法

• ベース測度の離散化と極限ケースの議論を用いて、有限のシーブ近似を構築し、それがベータ過程に収束することを示す。
• スティック・ブレイキング構成は、セトゥラマのディリクレ過程構成の拡張を経て得られ、重みはBeta(1, α(θ))から、原子はベース測度μから抽出される。
• ポアソン過程理論を用いて、スティック・ブレイキング表現に対する確実な切り捨て境界を導出し、高い確率で有限の切り捨てを保証する。
• 事後分布サンプリングは、観測済みの原子（ベータ分布に従う重み）と未観測の原子（事前のスティック・ブレイキング構成の切り捨てられたバージョンから抽出）に分割することで実行される。
• ベータ・ベルヌーイおよびベータ・負の二項分布過程の両方において、事後分布は、原子固有のベータ事後分布と、事前のベータ過程からのダウンウェートされたサンプルを組み合わせることでサンプリングされる。
• この手法は、事後分布を有限の観測済み原子の集合と、無限で未観測の成分に分離することで、切り捨てを介した効率的な計算を可能にする。

実験結果

リサーチクエスチョン

• RQ1 重要な測度を持つ原子を逐次的にサンプリングできる、ベータ過程の構成的棒割り分け定義を導出できるか？
• RQ2 ベータ過程に対する有限のシーブ近似は、極限において真のベータ過程に収束するか？
• RQ3 ポアソン過程理論を用いて、スティック・ブレイキング構成に対する確実な切り捨て境界を導出できるか？
• RQ4 ベータ・ベルヌーイおよびベータ・負の二項分布過程モデルにおける事後分布サンプリングを効率的に行えるか？
• RQ5 事後分布を観測済みおよび未観測の成分に分解することで、スケーラブルな推論を可能にできるか？

主な発見

• 原子数が増加するに従い、ベータ過程に対する有限のシーブ近似は確実に真のベータ過程に収束する。
• スティック・ブレイキング構成は、極限ケースの議論と、ポアソン過程の道具立てによる第二の証明を経て、証明される。
• スティック・ブレイキング構成に対する確実な切り捨て境界が導出され、高い確率で有限の切り捨てが可能になる。
• ベータ・ベルヌーイ過程の事後分布サンプリングは、観測済みの原子重みをベータ事後分布から得たものと、切り捨てられたスティック・ブレイキング構成からのダウンウェートされたサンプルを組み合わせることで達成される。
• ベータ・負の二項分布過程では、同様のスキームに従い、観測済みの原子はベータ事後分布で重み付けされ、未観測の原子は切り捨てられた事前の分布から抽出され、Beta(α(θ), nr)の変数でダウンウェートされる。
• この手法により、観測済みの原子の有限集合と、計算的に取り扱いやすい未観測成分に分離することで、効率的でスケーラブルな推論が可能になる。