[論文レビュー] Nonparametric Bayesian Negative Binomial Factor Analysis

Mingyuan Zhou|arXiv (Cornell University)|Apr 25, 2016

Bayesian Methods and Mixture Models参考文献 51被引用数 6

ひとこと要約

本稿では、ポアソン尤度を負の二項分布に置き換えることで過分散カウント行列をモデル化する非パラメトリックベイジアン負の二項分布要因分析（NBFA）を提案する。これにより、共変数頻度における自己および相互の活性化（自己・相関励起）を捉えることができる。また、階層的ガンマ-負の二項分布プロセス（hGNBP）を導入し、高速かつ適応的なブロック化ギブスサンプラーを提案。NBFAは、ポアソンベースのモデルと比較して優れた予測性能、より簡潔な表現、低い計算コストを達成していることが示された。

ABSTRACT

A common approach to analyze a covariate-sample count matrix, an element of which represents how many times a covariate appears in a sample, is to factorize it under the Poisson likelihood. We show its limitation in capturing the tendency for a covariate present in a sample to both repeat itself and excite related ones. To address this limitation, we construct negative binomial factor analysis (NBFA) to factorize the matrix under the negative binomial likelihood, and relate it to a Dirichlet-multinomial distribution based mixed-membership model. To support countably infinite factors, we propose the hierarchical gamma-negative binomial process. By exploiting newly proved connections between discrete distributions, we construct two blocked and a collapsed Gibbs sampler that all adaptively truncate their number of factors, and demonstrate that the blocked Gibbs sampler developed under a compound Poisson representation converges fast and has low computational complexity. Example results show that NBFA has a distinct mechanism in adjusting its number of inferred factors according to the sample lengths, and provides clear advantages in parsimonious representation, predictive power, and computational complexity over previously proposed discrete latent variable models, which either completely ignore burstiness, or model only the burstiness of the covariates but not that of the factors.

研究の動機と目的

• 共変数頻度における自己および相互の活性化のため、ポアソン要因分析（PFA）が過分散カウントをモデル化する際の限界を解消すること。
• 可算無限の要因をサポートする非パラメトリックベイジアンモデルを構築し、カウント行列の柔軟で適応的な因子分解を可能にすること。
• 共変数および要因レベルでのバースト性（急増）をモデル化することで、テキストおよびカウントデータ解析における予測性能と計算効率を向上させること。
• NBFAとディリクレ-多項分布混合-membershipモデルとの間の原理的つながりを提供し、潜在構造のより豊かな表現を可能にすること。

提案手法

• PFAにおけるポアソン尤度を負の二項分布尤度に置き換えることで、負の二項分布要因分析（NBFA）を提案し、過分散カウントをモデル化する。
• NBFAとディリクレ-多項分布混合-membershipモデルとの理論的関連を確立し、バースト性を示す潜在サブポピュレーションの観点から解釈可能にする。
• NBFAにおける可算無限の要因をサポートする非パラメトリック事前分布として、階層的ガンマ-負の二項分布プロセス（hGNBP）を導入する。
• 化合物ポアソン表現に基づくブロック化ギブスサンプラーを提案。これにより要因数の適応的断片化が可能となり、低計算複雑性で高速収束を実現する。
• コラプスドギブスサンプラーと2番目のブロック化サンプラーを導出し、データに応じたアクティブな要因数の自動推定を可能にする。
• hGNBPを用いて、サンプル固有および共変数固有の過分散率をモデル化し、スムージングと予測精度の向上を図る。

実験結果

リサーチクエスチョン

• RQ1 負の二項分布要因分析（NBFA）は、ポアソンベースのモデルと比較して、共変数頻度における自己および相互の活性化をよりよく捉えることができるか？
• RQ2 非パラメトリック事前分布は、カウント行列因子分解において可算無限の要因をサポートしつつ、計算効率を維持できるか？
• RQ3 提案されたhGNBP-NBFAモデルは、既存の離散潜在変数モデルと比較して、より優れた予測性能と簡潔な表現を達成するか？
• RQ4 推定されたアクティブな要因数は、サンプル長やデータの複雑さの変化に適応的に対応するか？

主な発見

• NBFAは、正規化特徴量を用いた20newsgroupsの二値および多クラス分類タスクにおいて、PFAを著しく上回る分類精度を示し、comp.sys.ibm.pc.hardware 対 comp.sys.mac.hardware タスクで88.0%の精度を達成した。
• NBFAにおける推定されたディリクレスムージングパラメータ η は、切断レベル K が増加するにつれて減少し、適応的正則化および過分散のより良い取り扱いを示している。
• 化合物ポアソン表現に基づくブロック化ギブスサンプラーは、代替のサンプラーと比較して収束が早く、計算複雑性も低い。これにより、効率的な推論が可能になった。
• NBFAは、サンプル長に応じてアクティブな要因数 K⁺ を動的に調整することで、不要なモデル複雑性を低減し、簡潔な表現を達成している。
• 20newsgroupsデータセットにおいて、NBFAは低次元特徴量を用いて79.4%の分類精度を達成し、生のカウント（78.0%）と正規化周辺度（79.4%）を用いたロジスティック回帰を上回った。ただし、NBFA特徴量を用いた場合に限る。
• 推定された η とアクティブな要因数 K⁺ の間には、対数スケールで減少トレンドが見られ、モデル容量の変化にわたって安定的で解釈可能な正則化ダイナミクスが示された。