[論文レビュー] Stick-breaking PG(\alpha,\zeta)-Generalized Gamma Processes

Lancelot F. James|arXiv (Cornell University)|Aug 29, 2013

Bayesian Methods and Mixture Models参考文献 56被引用数 12

ひとこと要約

本稿は、二パラメータのポisson-ディリクレ(PD(𝛼,𝜃))および一般化ガンマ(PG(𝛼,𝜁))過程を統合的に拡張する、拡張型ポアソン-ディリクレ一般化ガンマ(EPG(𝛼,𝜁))過程を導入する。𝛼 ∈ [0,1) および一般の 𝜁 に対して、全パラメータ範囲で明示的かつ取り扱いやすいスティック・ブレイキング表現を初めて提供し、ベイズ非パラメトリック統計および機械学習における新たなモデル構築を可能にする。

ABSTRACT

This work centers around results related to Proposition 21 of Pitman and Yor's (1997) paper on the two parameter Poisson Dirichlet distribution indexed by (\\alpha,\ heta) for 0<\\alpha<1, also \\alpha=0, and \ heta>-\\alpha, denoted PD(\\alpha,\ heta). We develop explicit stick-breaking representations for a class that contains the PD(\\alpha,\ heta) for the range \ heta=0, and \ heta>0, we call PG(\\alpha,\\zeta). We also construct a larger class, EPG(\\alpha,\\zeta), containing the entire range. These classes are indexed by \\alpha, and an arbitrary non-negative random variable \\zeta. The bulk of this work focuses on investigating various properties of this larger class, EPG(\\alpha,\\zeta), which lead to connections to other work in the literature. In particular, we develop completely explicit stick-breaking representations for this entire class via size biased sampling as described in Perman, Pitman and Yor (1992). This represents the first case outside of the PD(\\alpha,\ heta) where one obtains explicit results for the entire range of \\alpha, the EPG are within the larger class of mass partitions generated by conditioning on the total mass of an \\alpha-stable subordinator. Furthermore Markov chains are derived which establish links between Markov chains derived from stick-breaking(insertion/deletion), as described in Perman, Pitman and Yor and Markov chains derived from successive usage of dual coagulation fragmentation operators described in Bertoin and Goldschmidt and Dong, Goldschmidt and Martin. Which have connections to certain types of fragmentation trees and coalescents appearing in the recent literature. Our results are also suggestive of new models and tools, for applications in Bayesian Nonparametrics/Machine Learning, where PD(\\alpha,\ heta) bridges are often referred to as Pitman-Yor processes.

研究の動機と目的

• ポアソン-ディリクレ過程と一般化ガンマ過程を統合的に一般化し、より広いクラスの EPG(𝛼,𝜁) を構築することで、モデリングの柔軟性を向上させること。
• すべてのパラメータ 𝛼 ∈ [0,1) および一般の非負の確率変数 𝜁 に対して有効な、取り扱いやすいスティック・ブレイキング表現を構築すること。
• 交換可能な確率的パーティションにおけるスティック・ブレイキング、凝集・分裂ダイナミクス、およびマルコフ連鎖の間の関係を確立すること。
• 𝜁 が重い尾を持つ場合に EPG(𝛼,𝜁) が PD(𝛼,𝜃) よりも優れている条件を特定すること。
• ベイズ非パラメトリック統計および機械学習における新たなモデルの基盤を提供すること、特にパワー則現象のモデリングに有効である。

提案手法

• 固定時刻やガンマ分布に依存する時間ではなく、一般の確率的時間 𝜁 を用いた測度変換により、PG(𝛼,𝜁) を拡張して EPG(𝛼,𝜁) を構築する。
• 独立に分布する Beta(1−𝛼, 𝜃 + k𝛼) の系列を用いて、順序付き重み (P_i) のサイズバイアスサンプリング表現を導出する。
• 安定なサブディレーターの正規化されたジャンプと、Δ_1^−𝛼 = 𝜁 を条件とした比 R_k = P_{k+1}/P_k の条件付き分布を関連付けることで、EPG(𝛼,𝜁) のスティック・ブレイキング表現を確立する。
• (Δ_{k+1}/Δ_1) = ∏_{l=1}^k R_l の同時分布を用いて、Lévy密度 𝛼𝜁 u^{−𝛼−1}𝕀_{u≤1} を持つサブディレーターを定義し、乗法的サブディレーターの構築を可能にする。
• スティック・ブレイキングと双対的な凝集・分裂作用素から得られるマルコフ連鎖を導出し、断片化過程における双対性を介して両者を結びつける。
• Poisson到着時刻とスティック・ブレイキング重みから導かれる中立的右側過程である Σ_{𝛼,𝜁}(t) を含む、連続確率過程 (Q_{𝛼,𝜁}, Σ_{𝛼,𝜁}) を構築する。

実験結果

リサーチクエスチョン

• RQ1 標準的な PD(0,𝜃) および PD(𝛼,0) の場合を除き、PD(𝛼,𝜃) の全パラメータ範囲に対して、統一的なスティック・ブレイキング表現を導出できるか？
• RQ2 任意の確率的時間 𝜁 を用いた一般化ガンマ・サブディレーターを用いて、より広いクラスのポアソン＝キングマンモデルを構築できるか？
• RQ3 交換可能な確率的パーティションにおけるスティック・ブレイキング過程と凝集・分裂ダイナミクスの関係は何か？
• RQ4 𝜁 が重い尾を持つ場合、EPG(𝛼,𝜁) モデルは PD(𝛼,𝜃) モデルよりも厳密に優れている応用分野は何か？
• RQ5 EPG(𝛼,𝜁) フレームワークは、インド・バーベッジ過程やフラグメンターなど、ベイズ非パラメトリック統計および機械学習における新たな構築を可能にするか？

主な発見

• 本稿は、安定なサブディレーターから生成されるポアソン＝キングマンモデルについて、𝛼 ∈ [0,1) 全体に対して初めて明示的なスティック・ブレイキング表現を提供した。これは、PD(𝛼,𝜃) の場合を拡張するものである。
• EPG(𝛼,𝜁) クラスは、𝜃 > −𝛼 の全範囲で PD(𝛼,𝜃) を含み、𝜁 が固定値の場合は PG(𝛼,𝜁) を含むため、複数の既知の過程を統合する。
• 条件付き分布的恒等式が確立された：(R_k) = (Δ_{k+1}/Δ_k | Δ_1^{−𝛼} = 𝜁) ∼ Beta(1−𝛼, 𝜃 + k𝛼) であり、これは安定なサブディレーターの正規化されたジャンプとスティック・ブレイキング重みを結びつける。
• Σ_{𝛼,𝜁}(t) = ∑_{k=1}^∞ ∏_{l=1}^k R_l 𝕀_{𝜏_k ≤ t} は、Lévy密度 𝛼𝜁 u^{−𝛼−1}𝕀_{u≤1} を持つ乗法的サブディレーターであり、中立的右側過程を形成することが示された。
• スティック・ブレイキングから得られるマルコフ連鎖と、凝集・分裂作用素から得られるマルコフ連鎖は双対的であることが示され、交換可能なパーティションにおけるこれらのダイナミクスの間の新たな関係が確立された。
• 𝜁 が重い尾を持つ場合、EPG(𝛼,𝜁) は PD(𝛼,𝜃) よりも優れていることが示唆され、言語モデリングにおいてパワー則的挙動が観察される状況で特に有効である。これは、Goldwaterら (2009) の知見を拡張するものである。