[論文レビュー] The Stick-Breaking Construction of the Beta Process as a Poisson Process

John Paisley, David M. Blei+1 more|arXiv (Cornell University)|Sep 2, 2011

Bayesian Methods and Mixture Models参考文献 11被引用数 4

ひとこと要約

この論文は、ベータ過程のスティック・ブレイキング構成とその背後にあるポアソン過程の表現との間の厳密な関係を確立し、平均測度を用いて等価性を証明する。ポアソン過程理論を活用することで、よりタイトな切り捨て誤差の上限を導出し、より効率的なMCMC推論アルゴリズムを開発し、濃度パラメータの変動や無限大のベース測度への一般化を可能にする。

ABSTRACT

We show that the stick-breaking construction of the beta process due to Paisley, et al. (2010) can be obtained from the characterization of the beta process as a Poisson process. Specifically, we show that the mean measure of the underlying Poisson process is equal to that of the beta process. We use this underlying representation to derive error bounds on truncated beta processes that are tighter than those in the literature. We also develop a new MCMC inference algorithm for beta processes, based in part on our new Poisson process construction.

研究の動機と目的

• ベータ過程のスティック・ブレイキング構成とその背後にあるポアソン過程表現との間の正式な等価性を確立すること。
• 従来の文献で得られていたものよりもタイトな、切り捨てられたベータ過程の誤差上限を導出すること。
• ポアソン過程フレームワークを用いて、スティック・ブレイキングのベータ過程のための新しい、より効率的なMCMC推論アルゴリズムを開発すること。
• 濃度パラメータが変化する場合や無限大のベース測度を伴う場合に対しても、スティック・ブレイキング構成を一般化すること。これは、従来の導出では直接的に扱えなかった。

提案手法

• 明示的な積分と級数の変形を用いて、ベータ過程の背後にあるポアソン過程の平均測度が、スティック・ブレイキング構成の平均測度と等しいことを証明する。
• 既に確立されたポアソン過程の性質とレヴィ測度を活用して、ポアソン過程フレームワークを用いてスティック・ブレイキング構成を再導出する。
• 生存確率を単純関数の極限とポアソン期待値で近似することで、ベータ過程の切り捨て誤差をポアソン過程の表現を用いて上限付ける。
• スティック・ブレイキング表現からの効率的サンプリングを可能にする新しいMCMCサンプラーを構築し、従来の方法に比べて効率性とロバスト性を向上させる。
• ポアソン過程の特徴付けを拡張することで、濃度パラメータの変動と無限大のベース測度を許容するように、スティック・ブレイキング構成を一般化する。
• フビーニの定理と単調収束定理を用いて、誤差上限の導出における極限と積分の順序交換を正当化する。

実験結果

リサーチクエスチョン

• RQ1 ベータ過程のスティック・ブレイキング構成は、その背後にあるポアソン過程表現から厳密に導出可能か？
• RQ2 切り捨てられたベータ過程に対して、可能な限りタイトな誤差上限は何か？そして、ポアソン過程フレームワークを用いることで改善可能か？
• RQ3 ポアソン過程表現を用いて、スティック・ブレイキングのベータ過程のためのより効率的なMCMC推論アルゴリズムを開発可能か？
• RQ4 ポアソン過程フレームワークは、濃度パラメータが変化する場合や無限大のベース測度を伴うベータ過程に対しても自然に拡張可能か？

主な発見

• 背後にあるポアソン過程の平均測度が、ベータ過程の平均測度と等しいことが証明され、スティック・ブレイキング構成が強度 $\nu(d\theta,d\pi) = \alpha \pi^{-1}(1-\pi)^{\alpha-1} d\pi \mu(d\theta)$ のポアソン過程に等価であることが確認された。
• Doshi-Velezら (2009) や Paisley ら (2011) が得たものよりもタイトな切り捨て誤差上限が導出され、$R$ 個の成分で切り捨てた場合、誤差は $\gamma \left(\frac{\alpha}{1+\alpha}\right)^R$ の速度で減少することがわかった。
• Paisley ら (2010) が提示したMCMCアルゴリズムよりも、新しいMCMCアルゴリズムは効率的であり、濃度パラメータ $\gamma$ に敏感ではなく、活性な要因の数をよりよく学習できる。
• ポアソン過程フレームワークにより、濃度パラメータの変動や無限大のベース測度を伴う場合へのスティック・ブレイキング構成の自然な一般化が可能となり、元々の極限行列アプローチからは直接的に導出できなかった。
• スティック・ブレイキング過程が、正しい平均測度を持つポアソン過程から生じることを示すことで、ベータ過程の有効な表現であることが確認された。
• 平均測度の等価性の証明は、無限個の密度関数の級数を合算することに依存し、その結果は $\alpha \pi^{-1}(1-\pi)^{\alpha-1}$ に簡略化され、ベータ過程の既知のレヴィ測度と一致する。