[論文レビュー] Beta-Negative Binomial Process and Poisson Factor Analysis

Mingyuan Zhou, Lauren A. Hannah+2 more|arXiv (Cornell University)|Dec 15, 2011

Bayesian Methods and Mixture Models参考文献 37被引用数 192

ひとこと要約

本稿では、無限ポアソン要因分析（PFA）のための非パラメトリックベイズ的事前分布として、ベータ・ネガティブ二項分布（BNB）過程を提案する。この手法は、ベータ・ガンマ・ガンマ・ポアソンの階層的構造を通じて、過分散を示すカウントデータの柔軟なモデリングを可能にする。モデルは自動的に有効な要因数を推定し、文書のカウント行列因子分解において、既存のモデルと比較してより低いパープレキシティを達成し、最先端の性能を発揮する。

ABSTRACT

A beta-negative binomial (BNB) process is proposed, leading to a beta-gamma-Poisson process, which may be viewed as a "multi-scoop" generalization of the beta-Bernoulli process. The BNB process is augmented into a beta-gamma-gamma-Poisson hierarchical structure, and applied as a nonparametric Bayesian prior for an infinite Poisson factor analysis model. A finite approximation for the beta process Levy random measure is constructed for convenient implementation. Efficient MCMC computations are performed with data augmentation and marginalization techniques. Encouraging results are shown on document count matrix factorization.

研究の動機と目的

• 離散的で非負の過分散カウントデータをモデリングする上で、ガウスベースの潜在要因モデルの限界を克服すること。
• 潜在カウント構造の平均と分散の両方を柔軟にモデリングできる非パラメトリックベイズ的事前分布を構築すること。
• ネガティブ二項分布に従うカウントを用いて、ベータ・ベルヌーイ過程の「マルチ・スプーン」一般化を実現すること。
• 無限次元のカウント行列因子分解における効率的推論と自動モデル選択を可能にすること。
• 学習されたネガティブ二項分布パラメータを通じて、多様なトピック特性を捉えることで、トピックモデリングの性能を向上させること。

提案手法

• カウント値をとるマークを許容する、マーク付き空間 $[0,1] \times \mathbb{R}^+ \times \Omega$ 上のベータ過程の拡張として、ベータ・ネガティブ二項分布（BNB）過程を提案する。
• ポアソン強度がガンマ分布から抽出され、ガンマ強度がベータ過程から抽出される階層的ベータ・ガンマ・ガンマ・ポアソン過程を構築する。
• 実用的なMCMC実装を可能にするために、ベータ過程のLévy確率測度の有限近似を用いる。
• データ拡張と周辺化技術を用いて、結合事後分布上の効率的MCMC推論を実行する。
• ベータ、ガンマ、ポアソン、ネガティブ二項、ディリクレ分布間の共役関係を活用して計算を簡略化する。
• 文書のカウント行列因子分解にモデルを適用し、潜在要因をカウントに基づく寄与を持つトピックとして解釈する。

実験結果

リサーチクエスチョン

• RQ1 多変量カウントデータに過分散を柔軟にモデル化できる非パラメトリックベイズ的事前分布を開発できるか？
• RQ2 ベータ・ベルヌーイ過程を、潜在特徴のバイナリ存在/不在ではなく、複数のカウント値を許容する一般化に拡張できるか？
• RQ3 潜在カウント要因の平均と分散を非パラメトリックに同時に学習できる階層的構造を設計できるか？
• RQ4 提案モデルは、文書コーパスにおけるホールドアウトパープレキシティの観点から、既存のPFAおよびトピックモデルを上回る性能を示すか？
• RQ5 推定されたネガティブ二項分布パラメータ（$r_k$, $p_k$）は、トピックの解釈可能性および特性とどのように関係するか？

主な発見

• $\beta\gamma\Gamma$-PFAモデルは、JACMおよびPsyRevの両コーパスにおいて、$\Gamma$-PFA、Dirich-PFA、$\beta\Gamma$-PFA、$S\gamma\Gamma$-PFAと比較して、最も低いホールドアウトパープレキシティを達成した。
• JACMコーパスでは、最終MCMC反復で132個の有効要因が推定されたのに対し、PsyRevでは209個が推定され、自動モデル選択の有効性が示された。
• トピックディリクレ事前分布のパラメータ $a_\phi = 0.01$ を小さくすると、より多くの要因が推定され、予測性能も向上したが、あまりに小さい値は過剰専門化を引き起こした。
• モデルはストップワードを少数の主要なトピックに効果的に統合し、他のトピックの解釈可能性を保った。
• 平均が大きく分散も大きい（例：'rivalry, binocular, monocular'）または平均が小さく分散が大きい（例：'search, binary, tree'）トピックが、学習された $r_k$ と $p_k$ パラメータによって正確に捉えられた。
• 階層的構造により、要因負荷とその過分散の同時学習が可能となり、より強固で解釈可能なトピックモデルが得られた。