[論文レビュー] The continuum-of-urns scheme, generalized beta and Indian buffet processes, and hierarchies thereof

Daniel M. Roy|arXiv (Cornell University)|Dec 31, 2014

Bayesian Methods and Mixture Models参考文献 21被引用数 9

ひとこと要約

本稿では、交換可能なベルヌーイ過程の系列を可測なディリクレ過程およびピルマン–ヨル過程の族によってモデル化することにより、インド・バーガー過程（IBP）を一般化する連続的 urn スキーム、すなわち「連続的 urn の系列」を導入する。このスキームは、ブラックウェル–マククイーンの urn と二パラメータのホッペ urn スキームの連続的版に対する予測規則を確立し、三パラメータ IBP の階層的拡張および階層的安定ベータ過程の標準的構成を可能にする。

ABSTRACT

We describe the combinatorial stochastic process underlying a sequence of conditionally independent Bernoulli processes with a shared beta process hazard measure. As shown by Thibaux and Jordan [TJ07], in the special case when the underlying beta process has a constant concentration function and a finite and nonatomic mean, the combinatorial structure is that of the Indian buffet process (IBP) introduced by Griffiths and Ghahramani [GG05]. By reinterpreting the beta process introduced by Hjort [Hjo90] as a measurable family of Dirichlet processes, we obtain a simple predictive rule for the general case, which can be thought of as a continuum of Blackwell-MacQueen urn schemes (or equivalently, one-parameter Hoppe urn schemes). The corresponding measurable family of Perman-Pitman-Yor processes leads to a continuum of two-parameter Hoppe urn schemes, whose ordinary component is the three-parameter IBP introduced by Teh and Görür [TG09], which exhibits power-law behavior, as further studied by Broderick, Jordan, and Pitman [BJP12]. The idea extends to arbitrary measurable families of exchangeable partition probability functions and gives rise to generalizations of the beta process with matching buffet processes. Finally, in the same way that hierarchies of Dirichlet processes were given Chinese restaurant franchise representations by Teh, Jordan, Beal, and Blei [Teh+06], one can construct representations of sequences of Bernoulli processes directed by hierarchies of beta processes (and their generalizations) using the stochastic process we uncover.

研究の動機と目的

• 共有するハザード測度を持つ交換可能なベルヌーイ過程の系列のための統一的な確率過程フレームワークを構築すること。
• ベータ過程の階層構造に対する urn スキームの欠如を解消するため、ベータ過程を可測なディリクレ過程の族として再解釈すること。
• インド・バーガー過程を二パラメータのホッペ urn スキームの連続的版へ一般化し、パワー則的挙動と階層的拡張を可能にすること。
• 階層的ベータ過程の中国レストラン特許店スタイルの表現を構築する理論的基盤を提供すること。
• ハザード測度の強い収束下で、離散的 urn モデルが連続的 urn スキームへ収束することを確立すること。

提案手法

• 可測なディリクレ過程の族としてのベータ過程の再解釈により、連続的ブラックウェル–マククイーン urn スキームのための予測規則を導出する。
• 交換可能なパーティション確率関数（EPPFs）を用いて、確率的集合の組み合わせ的構造および特徴割り当てをモデル化する。
• ピルマン–ヨル過程を可測な確率測度の族として用い、二パラメータのホッペ urn スキームの連続的版を生成する。
• 独立増分を有する完全にランダムな測度を用いてハザード測度をモデル化し、ベルヌーイ過程の条件付き独立性を保証する。
• ポアソン過程および強度測度の収束を用いて、離散的 urn モデルの弱収束を連続極限へ確立する。
• 移動論的議論とカレンベルクの確率測度フレームワークを用いて、スキームの分布収束を証明する。

実験結果

リサーチクエスチョン

• RQ1 一パラメータの場合を越えてインド・バーガー過程を一般化する連続的 urn の系列をどのように構築できるか？
• RQ2 共有するベータ過程のハザード測度を持つ条件付き独立なベルヌーイ過程の系列の予測分布は何か？
• RQ3 可測なピルマン–ヨル過程の族を用いてインド・バーガー過程の階層的拡張をどのように定義できるか？
• RQ4 離散的 urn モデルが連続的 urn スキームへ収束するための条件は何か？
• RQ5 二パラメータのホッペ urn スキームから、階層的安定ベータ過程の標準的定義を導出可能か？

主な発見

• 連続的 urn の系列は、可測なディリクレ過程の族によって誘導される交換可能なベルヌーイ過程の系列のための予測規則を提供する。
• このスキームは、インド・バーガー過程を一および二パラメータのホッペ urn スキームの連続的版へ一般化し、三パラメータ IBP を特別な場合として含む。
• ハザード測度の強い収束下で、離散モデルの極限分布は、ポアソン過程の強度の収束を用いて、連続的 urn スキームへ確率的に収束することが証明された。
• このフレームワークは、可測なピルマン–ヨル過程の族を通じて、階層的安定ベータ過程の標準的構成を可能にする。
• この手法により、ベータ過程の階層構造に対する中国レストラン特許店スタイルの表現が可能となり、ディリクレ過程の階層に関する先行研究を拡張する。
• 弱収束下では証明が失敗することを、反例により示した。弱収束するハザード測度であっても、誘導される点過程の収束は保証されない。