[論文レビュー] Priors for Random Count Matrices Derived from a Family of Negative Binomial Processes

Mingyuan Zhou, Oscar Hernán Madrid Padilla+1 more|arXiv (Cornell University)|Apr 12, 2014

Bayesian Methods and Mixture Models参考文献 31被引用数 4

ひとこと要約

本稿では、ガンマ・ポアソン、ガンマ・ネガティブ二項分布、ベータ・ネガティブ二項分布プロセスを用いた、ランダムなカウント行列に対する非パrametricベイジアン事前分布の族を提案する。これらのモデルは閉形式のギブスサンプリングを可能とし、特徴空間が無限大でも対応可能であり、語彙の事前定義やパrameterチューニングを必要とせず、従来の手法よりもテキスト分類で優れた性能を発揮する。

ABSTRACT

We define a family of probability distributions for random count matrices with a potentially unbounded number of rows and columns. The three distributions we consider are derived from the gamma-Poisson, gamma-negative binomial, and beta-negative binomial processes. Because the models lead to closed-form Gibbs sampling update equations, they are natural candidates for nonparametric Bayesian priors over count matrices. A key aspect of our analysis is the recognition that, although the random count matrices within the family are defined by a row-wise construction, their columns can be shown to be i.i.d. This fact is used to derive explicit formulas for drawing all the columns at once. Moreover, by analyzing these matrices' combinatorial structure, we describe how to sequentially construct a column-i.i.d. random count matrix one row at a time, and derive the predictive distribution of a new row count vector with previously unseen features. We describe the similarities and differences between the three priors, and argue that the greater flexibility of the gamma- and beta- negative binomial processes, especially their ability to model over-dispersed, heavy-tailed count data, makes these well suited to a wide variety of real-world applications. As an example of our framework, we construct a naive-Bayes text classifier to categorize a count vector to one of several existing random count matrices of different categories. The classifier supports an unbounded number of features, and unlike most existing methods, it does not require a predefined finite vocabulary to be shared by all the categories, and needs neither feature selection nor parameter tuning. Both the gamma- and beta- negative binomial processes are shown to significantly outperform the gamma-Poisson process for document categorization, with comparable performance to other state-of-the-art supervised text classification algorithms.

研究の動機と目的

• 潜在的に無限大の次元を有するランダムなカウント行列に対して、柔軟な非パrametricベイジアン事前分布が不足している問題に対処する。
• これまでに観測されていない特徴を含む新しい行に対する予測分布をサポートするフレームワークを構築する。
• 共通の有限語彙を必要とせず、複数のカテゴリに跨るカウント行列に対してスケーラブルかつ並列な推論を可能にする。
• 語彙の事前定義を回避し、過分散および重たい尾を持つデータを自然に扱える、rawなカウントに直接基づくナイーブベイズ分類器を構築する。
• 標準的な多項分布ナイーブベイズや他の最先端モデルと比較して、文書分類タスクで優れた性能を示すことを実証する。

提案手法

• ガンマ・ポアソン、ガンマ・ネガティブ二項分布、ベータ・ネガティブ二項分布プロセスから、ランダムなカウント行列のための3つの確率分布を導出する。
• 導出された行列の各列がi.i.d.であることを示し、これにより同時サンプリングまたは逐次的な行単位の構築が可能になる。
• 組合せ的解析を用いて、未観測の特徴を含む新しい行ベクトルの予測分布を導出する。
• すべての3つのモデルに対して閉形式のギブスサンプリング更新を実装し、効率的なMCMC推論を可能にする。
• 語彙の事前定義を回避し、rawな単語カウントを直接使用する非パrametricベイジアンナイーブベイズ分類器を構築する。
• オンライン学習を可能とし、非パrametric事前分布を用いて無限大の特徴空間をサポートするフレームワークを拡張する。

実験結果

リサーチクエスチョン

• RQ1 潜在的に無限大の行と列を有するランダムなカウント行列に対して、非パrametricベイジアン事前分布をどのように定義できるか？
• RQ2 カウント行列において、以前に観測されていなかった特徴を含む新しい行ベクトルの予測分布は何か？
• RQ3 過分散および重たい尾を持つカウントデータのモデリングにおいて、ガンマ・ネガティブ二項分布プロセスとベータ・ネガティブ二項分布プロセスは、ガンマ・ポアソンプロセスと比較してどのように異なるか？
• RQ4 語彙の事前定義やパrameterチューニングを回避できる非パrametricベイジアンナイーブベイズ分類器を構築できるか？
• RQ5 これらの新しい事前分布を用いることで、ラプラススムージングを施した標準的な多項分布モデルと比較して、文書分類でどの程度の性能向上が達成できるか？

主な発見

• ガンマ・ネガティブ二項分布プロセス（GNBP）とベータ・ネガティブ二項分布プロセス（BNBP）は、文書分類タスクにおいてガンマ・ポアソンプロセスを著しく上回る性能を発揮する。
• GNBPおよびBNBPの両方とも、最先端の判別的学習に基づくテキスト分類アルゴリズムと同等の性能を達成する。
• 提案された分類器は特徴選択やパrameterチューニングを一切必要とせず、テスト文書における未観測語の自然な処理が可能である。
• MCMCサンプル数 $S=1$ であっても、予測尤度が安定しており、モンテカルロ変動が小さく、正確な分類結果が得られる。
• ボックスプロット分析から、$S$ を増加させることで分散は低下するが、平均精度に顕著な向上は見られず、実用的には小さな $S$ で十分であることが示された。
• 潜在的なプロセスに対する周辺化の能力と、i.i.d.な列に対する明示的な確率質量関数（PMF）の導出が可能であるため、堅牢でスケーラブルな推論が実現できる。