[論文レビュー] Poisson Latent Feature Calculus for Generalized Indian Buffet Processes

Lancelot F. James|arXiv (Cornell University)|Nov 11, 2014

Bayesian Methods and Mixture Models参考文献 31被引用数 7

ひとこと要約

この論文は、ベルヌーイ分布に限らない任意の分布を用いた潜在特徴のための一般化されたインド・ブッフェ過程（IBP）を体系的に分析・構築するため、ポアソン過程の微積分に基づく統一的なポアソン潜在特徴微積分を導入する。この手法により、非共役かつ非パラメトリックなベイズ推論が、高次元スパース特徴モデルに対して一般化されたフレームワークを用いて可能となり、既存のIBPの変種を包含するとともに、柔軟な事前分布を用いた新しい多次元構築が可能になる。

ABSTRACT

The purpose of this work is to describe a unified, and indeed simple, mechanism for non-parametric Bayesian analysis, construction and generative sampling of a large class of latent feature models which one can describe as generalized notions of Indian Buffet Processes(IBP). This is done via the Poisson Process Calculus as it now relates to latent feature models. The IBP was ingeniously devised by Griffiths and Ghahramani in (2005) and its generative scheme is cast in terms of customers entering sequentially an Indian Buffet restaurant and selecting previously sampled dishes as well as new dishes. In this metaphor dishes corresponds to latent features, attributes, preferences shared by individuals. The IBP, and its generalizations, represent an exciting class of models well suited to handle high dimensional statistical problems now common in this information age. The IBP is based on the usage of conditionally independent Bernoulli random variables, coupled with completely random measures acting as Bayesian priors, that are used to create sparse binary matrices. This Bayesian non-parametric view was a key insight due to Thibaux and Jordan (2007). One way to think of generalizations is to to use more general random variables. Of note in the current literature are models employing Poisson and Negative-Binomial random variables. However, unlike their closely related counterparts, generalized Chinese restaurant processes, the ability to analyze IBP models in a systematic and general manner is not yet available. The limitations are both in terms of knowledge about the effects of different priors and in terms of models based on a wider choice of random variables. This work will not only provide a thorough description of the properties of existing models but also provide a simple template to devise and analyze new models.

研究の動機と目的

• 標準的なベルヌーイベースのインド・ブッフェ過程（IBP）を超える、一般化された潜在特徴モデルの非パラメトリックなベイズフレームワークを構築すること。
• ポアソン過程微積分を用いて一般化IBPを統一的かつ簡素化して分析し、体系的な構築と推論を可能にすること。
• ポアソンおよび負の二項分布に基づく既存のモデルを、一貫した理論的基盤を提供することで拡張すること。
• 任意の分布と柔軟な事前構造を用いた、新しい多次元潜在特徴プロセスの設計を可能にすること。
• 現在の文献における非共役モデル（例：一般化されたガンマ過程）の性質が十分に理解されていないという制限を克服すること。

提案手法

• この手法は、交換可能なベイズ過程の事後分布および周辺分布を導出するための非組合計的アプローチであるポアソン過程微積分（PPC）を採用する。
• 潜在特徴は完全に無作為な測度としてモデル化され、生成過程はポアソン確率測度によって駆動され、共役性を必要としない分析が可能になる。
• フレームワークは、分解とフビニ型の議論を用いて事後分布を導出し、ブラックウェル＝マククイーンのウーム方式を特徴モデルに一般化する。
• 各特徴に複数のコンディメント（例：複数の属性）を持つ多次元拡張を導入し、割り当て確率にディリクレおよびベータ＝ディリクレ成分を用いる。
• 質量がゼロにある任意の基本分布 $ G_A $（連続的・離散的を含む）を許容し、一般化された事前プロセスをサポートする。
• 重要な式には、新規料理の到着の強度を表す $ \varphi = \theta \int_0^1 s^{-\alpha}(1-s)^{M+\beta+\alpha-1} ds $ の使用と、コンディメント選択のディリクレ＝多項分布割り当てが含まれる。

実験結果

リサーチクエスチョン

• RQ1 ベルヌーイベースのモデルを超える一般化されたインド・ブッフェ過程を分析するための統一的微積分をどのように開発できるか？
• RQ2 ポアソンまたは負の二項分布尤度と組み合わせた非共役事前分布（例：一般化されたガンマ過程）を用いたIBPモデルの理論的性質は何か？
• RQ3 共通のフレームワークを用いて、どのように多次元潜在特徴モデルを体系的に構築・分析できるか？
• RQ4 高次元スパースモデルにおける特徴割り当てにおいて、ゼロに質量を持つ任意の分布 $ G_A $ を用いる場合の意味は何か？
• RQ5 ポアソン過程微積分は、複雑な非パラメトリックベイズモデルにおいて共役性を必要としない事後分布推論をどのように可能にするか？

主な発見

• ポアソン過程微積分は、潜在特徴モデルの事後分布および周辺分布を導出する一般的で非組合計的な手法を提供し、既存のIBPの変種を包含する。
• このフレームワークにより、各特徴に複数の属性（コンディメント）を持つ新しい多次元IBPモデルの構築が可能になり、ディリクレ割り当て確率が用いられる。
• 各新規顧客に対して、新規料理の数は強度 $ \varphi = \theta \Gamma(1-\alpha)\Gamma(M+\beta+\alpha)/\Gamma(M+\beta+1) $ のポアソン分布に従い、1次元の場合を一般化する。
• 既存の料理 $ \omega_\ell $ とコンディメント $ j $ を選択する確率は、$ (c_{j,\ell,M} + \gamma_j)/(c_{\ell,M} + \sum_k \gamma_k) \times c_{\ell,M-\alpha}/(M+\beta) $ に比例し、特徴および属性の両方の選択を捉える。
• 特徴割り当ての同時分布は、パrameters $ (\alpha, M+\beta+\alpha; \gamma_1,\ldots,\gamma_q; \theta) $ を持つ安定＝ベータ＝ディリクレ過程によって支配され、柔軟な事前モデリングを可能にする。
• この手法により、一般化されたガンマ過程などの非共役事前分布をポアソンモデルに適用可能にし、ポアソン過程微積分の構造的性質を活用することで、共役性の欠如を補う。