[論文レビュー] Combinatorial clustering and the beta negative binomial process

Tamara Broderick, Lester Mackey+2 more|arXiv (Cornell University)|Nov 8, 2011

Bayesian Methods and Mixture Models参考文献 41被引用数 7

ひとこと要約

本稿では、個々の個体が複数のクラスに属し、異なる回数にわたって属する可能性がある潜在的クラス混合をモデル化する非パラメトリックベイジアン事前分布として、負の二項分布過程（NBP）を導入する。ベータ分布とNBPの共役性を活用して、ベータ-負の二項分布過程（BNBP）と階層的BNBP（HBNBP）を構築し、効率的なMCMC推論を可能にした。画像セグメンテーションおよびドキュメント解析において優れた性能を示し、HBNBPはLDAと比較して平均79%の正確度を達成した。

ABSTRACT

We develop a Bayesian nonparametric approach to a general family of latent class problems in which individuals can belong simultaneously to multiple classes and where each class can be exhibited multiple times by an individual. We introduce a combinatorial stochastic process known as the negative binomial process (NBP) as an infinite-dimensional prior appropriate for such problems. We show that the NBP is conjugate to the beta process, and we characterize the posterior distribution under the beta-negative binomial process (BNBP) and hierarchical models based on the BNBP (the HBNBP). We study the asymptotic properties of the BNBP and develop a three-parameter extension of the BNBP that exhibits power-law behavior. We derive MCMC algorithms for posterior inference under the HBNBP, and we present experiments using these algorithms in the domains of image segmentation, object recognition, and document analysis.

研究の動機と目的

• 従来のクラスタリング手法の限界を克服し、潜在的クラスモデルにおける複数のクラス所属を可能にする。
• 個々の個体が複数回にわたって特徴を示すカウントベースの混合をモデル化する非パラメトリックベイジアンフレームワークを構築する。
• ベータ過程と負の二項分布過程の間の共役性を確立し、無限次元モデルにおける後方分布推論を容易にする。
• HBNBPの実世界応用における有効性を実証する。具体的には画像セグメンテーションおよびドキュメント解析を対象とする。
• 提案モデルの漸近的性質およびパワー則的性質を分析する。

提案手法

• 混合モデルにおけるカウントベクトルの無限次元的事前分布として、負の二項分布過程（NBP）を提案する。
• ベータ過程とNBPの間の共役性を確立し、これによりベータ-負の二項分布過程（BNBP）を導出する。
• BNBPに基づく階層的モデル（HBNBP）を構築し、個体間で特徴を共有しつつ、個体固有のカウントを許容する。
• HBNBPにおける後方分布推論のためのMCMCアルゴリズムを導出することで、スケーラブルな計算を可能にする。
• 特徴カウントのパワー則的挙動をモデル化するため、BNBPの3パラメータ拡張を導入する。
• 実世界のデータセットを用いて、HBNBPを画像パッチ分類およびドキュメントモデリングに応用する。

実験結果

リサーチクエスチョン

• RQ1 非パラメトリックベイジアンモデルは、変動するカウントを持つ複数の潜在的クラスの混合として個体を効果的に表現できるか？
• RQ2 ベータ過程と負の二項分布過程の間の共役性は、無限次元モデルにおける後方分布推論を容易にするか？
• RQ3 BNBPおよびその3パラメータ拡張の漸近的性質は、既存のモデルと比較してパワー則的挙動においてどのように異なるか？
• RQ4 HBNBPは、画像セグメンテーションおよびオブジェクト認識タスクにおいて、LDAなどの古典的モデルを上回る性能を示せるか？
• RQ5 実用的応用において、HBNBPモデルはハイパーパrameterの設定に敏感か？

主な発見

• HBNBPモデルはMSRC-v1画像データベースにおいて、平均79%のオブジェクトクラス正確度を達成し、LDAの76%を上回った。
• HBNBPモデルはハイパーパrameterの変動に対して頑健であり、パrameter値が数個のオーダーにわたって変化しても、ほぼ一定の性能を維持した。
• BNBPの3パラメータ拡張はパワー則的挙動を示し、重たい尾部を持つ特徴カウント分布のモデル化に適していた。
• HBNBPは画像セグメンテーションおよびオブジェクト認識において優れた性能を示し、混同行列から多数のクラスで高い正確度が得られた。
• ベータ過程とNBPの間の共役性により、効率的なMCMC推論が可能となり、高次元設定におけるスケーラブルな後方分布計算が実現された。
• HBNBPはドキュメント解析および画像解析タスクにおいて、トピックモデルやLDAの代替として実用的であることが示された。