[論文レビュー] Beta-Negative Binomial Process and Exchangeable Random Partitions for Mixed-Membership Modeling

Mingyuan Zhou|arXiv (Cornell University)|Oct 28, 2014

Bayesian Methods and Mixture Models参考文献 9被引用数 14

ひとこと要約

本稿では、混合所属モデリングのための非パラメトリックベイジアン事前分布として、ベータ負の二項分布過程（BNBP）を導入し、完全に畳み込み済みギブス推定を可能にする交換可能性パーティション確率関数（EPPF）を導出する。この手法により、無限次元のベータ過程とトピック重みを解析的に周辺化することで、トピックモデリングにおいて高速で良好な混合性を示す予測性能に到達する。

ABSTRACT

The beta-negative binomial process (BNBP), an integer-valued stochastic process, is employed to partition a count vector into a latent random count matrix. As the marginal probability distribution of the BNBP that governs the exchangeable random partitions of grouped data has not yet been developed, current inference for the BNBP has to truncate the number of atoms of the beta process. This paper introduces an exchangeable partition probability function to explicitly describe how the BNBP clusters the data points of each group into a random number of exchangeable partitions, which are shared across all the groups. A fully collapsed Gibbs sampler is developed for the BNBP, leading to a novel nonparametric Bayesian topic model that is distinct from existing ones, with simple implementation, fast convergence, good mixing, and state-of-the-art predictive performance.

研究の動機と目的

• 単一グループのクラスタリングを超えた交換可能性パーティション確率関数（EPPF）への拡張を可能にする、統一的で非パラメトリックなベイジアンフレームワークを構築すること。
• グループ化されたデータにおける交換可能性ランダムパーティションを支配するBNBPの周辺分布を導出することにより、完全に畳み込み済みの推論を可能にすること。
• トピック重みと無限次元のベータ過程の両方を解析的に周辺化する、BNBPに基づく新しいトピックモデルを構築すること。
• 閉形式の更新式を備えた、高速収束性と良好な混合性を示すギブスサンプラーを提供すること。

提案手法

• グループサイズを確率的に設定し、ベイズの定理を用いてグループ化データのためのEPPFを導出することで、BNBPの交換可能性クラスタ確率関数（ECPF）を導出する。
• ポアソン分布とディリクレ-multinomial混合を用いた階層的構造を用いて、グループサイズとクラスタ割り当ての同時分布をモデル化する。
• パームの公式を適用してベータ過程を周辺化し、クラスタサイズとグループ数にのみ依存する有限次元の後確率分布を導出する。
• ベータ過程、トピック重み、無限次元パラメータを解析的に周辺化する完全に畳み込み済みのギブスサンプラーを開発する。
• データ拡張と周辺化技術を用いて負の二項分布に適用し、モデルパラメータの閉形式の条件付き後確率を導出する。
• 解析的形が不恰好であるため、濃度パラメータcのためのグリッドギブスサンプリングを実施し、1/(1+c)を0.01から0.99の離散グリッドに設定する。

実験結果

リサーチクエスチョン

• RQ1 ベータ負の二項分布過程（BNBP）を用いて、グループ化された混合所属データのための適切な交換可能性パーティション確率関数（EPPF）を定義できるか？
• RQ2 導出されたEPPFは、ベータ過程の原子数を切り詰めずに、完全に畳み込み済みのギブス推定を可能にするか？
• RQ3 BNBPは、既存のモデルと比較して高速収束性、良好な混合性、優れた予測性能を示す非パラメトリックトピックモデルをサポートできるか？
• RQ4 BNBPのEPPFは、グループサイズとクラスタ構造への依存性において、既存のEPPFとどのように異なるか？
• RQ5 濃度パラメータcを含むBNBPモデルパラメータの閉形式の条件付き後確率は何か？

主な発見

• BNBPのEPPFは、まずグループサイズをi.i.d.なカウントベクトルのポアソン和としてモデル化し、その後サイズベクトルを周辺化することでベイズの定理を用いて導出される。
• 得られたEPPFは、各行の和が対応するグループサイズに等しくなるような、潜在的な列交換可能性を持つランダムカウント行列の事前分布を明示的に記述する。
• 完全に畳み込み済みのギブスサンプラーは、ベータ過程、トピック重み、無限次元パラメータを解析的に周辺化することで、高速な収束性と良好な混合性を実現する。
• BNBPトピックモデルは、コロナのコンact表現を用いて、既存の非パラメトリックトピックモデルを上回る最先端の予測性能を達成する。
• 濃度パラメータcを除くすべてのパラメータについて、閉形式の更新式が導出された。cは離散グリッド上でのグリッドギブスサンプリングによりサンプリングされる。
• BNBPの予測ルールにより、導出されたEPPFに従う交換可能性ランダムパーティションのシミュレーションが可能となり、混合所属設定における効率的な推論が可能になる。