[論文レビュー] Feature allocations, probability functions, and paintboxes

Tamara Broderick, Jim Pitman+1 more|arXiv (Cornell University)|Jan 28, 2013

Bayesian Methods and Mixture Models参考文献 14被引用数 6

ひとこと要約

本稿では、交換可能な特徴割り当ての一般枠組みを、交換可能な特徴確率関数（EFPF）と特徴ペイントボックスを定義することによって提示する。これは、クラスタリングにおけるEPPFとキングマンのペイントボックスに類似している。交換可能な特徴割り当てが特徴ペイントボックスによって生成されるものと同値であることが確立されており、特徴数の極限分布は、尾σ代数を条件とするポアソン分布と独立なベルヌーイ分布の成分によって特徴づけられる。

ABSTRACT

The problem of inferring a clustering of a data set has been the subject of much research in Bayesian analysis, and there currently exists a solid mathematical foundation for Bayesian approaches to clustering. In particular, the class of probability distributions over partitions of a data set has been characterized in a number of ways, including via exchangeable partition probability functions (EPPFs) and the Kingman paintbox. Here, we develop a generalization of the clustering problem, called feature allocation, where we allow each data point to belong to an arbitrary, non-negative integer number of groups, now called features or topics. We define and study an "exchangeable feature probability function" (EFPF)---analogous to the EPPF in the clustering setting---for certain types of feature models. Moreover, we introduce a "feature paintbox" characterization---analogous to the Kingman paintbox for clustering---of the class of exchangeable feature models. We provide a further characterization of the subclass of feature allocations that have EFPF representations.

研究の動機と目的

• データポイントが複数のグループに属する可能性を許容するように、ベイズ非パラメトリックモデルの理論的基盤をクラスタリングから特徴割り当てへと拡張すること。
• クラスタリングモデルにおけるEPPFの類似物として、交換可能な特徴確率関数（EFPF）を定義すること。
• 分割のキングマンペイントボックスに類似した、交換可能な特徴割り当ての生成メカニズムとしての特徴ペイントボックスを導入すること。
• 交換可能な特徴割り当て、EFPF表現可能なモデル、特徴ペイントボックスによって生成されるモデルの間の同値性を確立すること。
• 交換可能な特徴割り当てにおける特徴数の極限分布を、ポアソン分布と独立なベルヌーイ分布の成分を用いて特徴づけること。

提案手法

• 特徴サイズの対称関数としての交換可能な特徴確率関数（EFPF）を提案し、パーティションのEPPFを一般化する。
• 特徴ペイントボックスを、単位区間のランダム部分集合からのi.i.d.抽出を用いて交換可能な特徴割り当てを生成する方法として導入する。
• N → ∞ における特徴数の極限挙動を分析するため、σ代数の逆フィルトレーション（ξ_N）を用いる。
• 逆マルティンゲール収束を適用して、P( # = j | ξ_N) がほとんど確実に P( # = j | ξ_∞) に収束することを示し、これにより補題19の適用が可能になる。
• 補題19を用いて、尾σ代数を条件とするとき、特徴総数の極限分布がポアソン確率変数と独立なベルヌーイ確率変数の和として特徴づけられることを示す。
• 特徴頻度モデルでは、特徴ペイントボックスの構成が特に単純であり、特徴サイズが直接的にペイントボックス集合を決定することを示す。

実験結果

リサーチクエスチョン

• RQ1 データポイントが複数のグループに属する可能性がある特徴割り当ての文脈において、交換可能なパーティション確率関数（EPPF）の類似物は何か？
• RQ2 キングマンのペイントボックス構成を特徴割り当てへと一般化することで、交換可能な特徴割り当ての生成モデルをどのように得られるか？
• RQ3 交換可能な特徴割り当てがEFPF表現を許容するための条件は何か？
• RQ4 データポイント数が増加する際の交換可能な特徴割り当てにおける特徴数の極限分布は何か？
• RQ5 特徴頻度モデルは、特徴割り当ての一般理論とどのように関係し、ペイントボックス構成において果たす役割は何か？

主な発見

• 交換可能な特徴割り当ては、キングマンペイントボックスによって生成されるものと同値であり、交換可能なパーティションと同様に成り立つ。
• 交換可能な特徴確率関数（EFPF）は、特徴サイズの対称関数であり、パーティション設定におけるEPPFを特徴割り当て設定に一般化する。
• 尾σ代数 ξ_∞ を条件とするとき、特徴総数の極限分布は、ポアソン分布と独立なベルヌーイ分布の和として分布する。
• 極限分布のパラメータである λ（ポアソンレート）と {p_k}（ベルヌーイ確率）は、すべて尾σ代数 ξ_∞ に関して可測な確率変数である。
• 特徴頻度モデルでは、特徴ペイントボックスの構成が単純であり、特徴集合がその相対サイズそのもので直接定義される。
• 図1のベン図は、ランダムなパーティションがランダムな特徴割り当ての特別な場合であることを確認しており、古典的なクラスタリング結果が新しい枠組みに埋め込まれている。