[論文レビュー] A Bayesian View of the Poisson-Dirichlet Process

Wray Buntine, Marcus Hütter|arXiv (Cornell University)|Jul 2, 2010

Bayesian Methods and Mixture Models参考文献 27被引用数 48

ひとこと要約

本稿では、サンプルサイズNにおける異なる種の数（M）の分布の再帰的特徴付けを導出することによって、ポアソン＝ディリクレ過程のベイズ的解釈を提示する。一般化されたスターリング数S(N,M; -1,-a,0)が正確に正規化された確率質量関数p(M|N)に一致することを確立し、再帰的構造と境界条件を通じて、この過程の組合せ的かつ解析的基盤を提供する。

ABSTRACT

The two parameter Poisson-Dirichlet Process (PDP), a generalisation of the Dirichlet Process, is increasingly being used for probabilistic modelling in discrete areas such as language technology, bioinformatics, and image analysis. There is a rich literature about the PDP and its derivative distributions such as the Chinese Restaurant Process (CRP). This article reviews some of the basic theory and then the major results needed for Bayesian modelling of discrete problems including details of priors, posteriors and computation. The PDP allows one to build distributions over countable partitions. The PDP has two other remarkable properties: first it is partially conjugate to itself, which allows one to build hierarchies of PDPs, and second using a marginalised relative the CRP, one gets fragmentation and clustering properties that lets one layer partitions to build trees. This article presents the basic theory for understanding the notion of partitions and distributions over them, the PDP and the CRP, and the important properties of conjugacy, fragmentation and clustering, as well as some key related properties such as consistency and convergence. This article also presents a Bayesian interpretation of the Poisson-Dirichlet process based on an improper and infinite dimensional Dirichlet distribution. This means we can understand the process as just another Dirichlet and thus all its sampling properties emerge naturally. The theory of PDPs is usually presented for continuous distributions (more generally referred to as non-atomic distributions), however, when applied to discrete distributions its remarkable conjugacy property emerges. This context and basic results are also presented, as well as techniques for computing the second order Stirling numbers that occur in the posteriors for discrete distributions.

研究の動機と目的

• サンプル内の異なる種の数の分布を通じて、ポアソン＝ディリクレ過程のベイズ的解釈を提供すること。
• 予測サンプリングダイナミクスに基づくp(M|N)の再帰的公式を導出すること。
• 種の数分布と一般化スターリング数S(N,M; -1,-a,0)の等価性を確立すること。
• 明示的表現を用いて、分布の境界条件および漸近的挙動を検証すること。

提案手法

• ディリクレ過程の予測分布を用いて、p(M_{N+1} = m | M_N)の再帰的関係を導出する。
• 補題LABEL:lem-expの明示的形p(M_N = m) = S_{m,a}^N (b|a)^m / (b)_N を用いる。
• 再帰を適用して再帰的関係S_{m,a}^{N+1} = S_{m-1,a}^N + (N - m a) S_{m,a}^N を導出する。
• パrameters (-1,-a,0) を持つ一般化スターリング数S(n,k; @, β,r) が種の数分布に一致することを特定する。
• 定義および組合せ的解釈を用いて、境界条件S_{m,a}^N = 0（m > Nのとき）およびS_{0,a}^N = δ_{N,0} を検証する。
• 表現を偏微分と補間に関連付けることで、a → 0 の極限における連続性を示す。

実験結果

リサーチクエスチョン

• RQ1 ベイズ非パラメトリック手法を用いて、サンプル内の異なる種の数の分布をどのように特徴付けることができるか？
• RQ2 サンプルサイズの増加に伴う種の数の遷移確率の背後にある再帰的構造は何か？
• RQ3 一般化スターリング数S(N,M; -1,-a,0)は、種の数の正規化された確率質量関数とどのように関係するか？
• RQ4 パrameter a と b は、種の分布およびその再帰的構造にどのように寄与するか？
• RQ5 a → 0 の極限が、種の数分布の偏微分形をどのように回復するか？

主な発見

• p(M_{N+1} = m)の再帰的関係は、予測サンプリング分布から導出され、再帰的関係S_{m,a}^{N+1} = S_{m-1,a}^N + (N - m a) S_{m,a}^N と一致する。
• 一般化スターリング数S(N,M; -1,-a,0)が、ポアソン＝ディリクレ過程における正規化された確率p(M_N = m)に等しいことが証明された。
• 明示的公式およびプロセスの解釈を用いて、境界条件S_{m,a}^N = 0（m > Nのとき）およびS_{0,a}^N = δ_{N,0} が確認された。
• a = 0 の場合が補間を通じてM番目の偏微分に対応することが示され、離散的および連続的表現の間の関係が結ばれた。
• パrameterの代入と再帰的一致を用いて、種の数分布と一般化スターリング数の表現の間の等価性が厳密に確立された。