[論文レビュー] Nonparametric Bayesian Factor Analysis for Dynamic Count Matrices

Ayan Acharya, Joydeep Ghosh+1 more|arXiv (Cornell University)|Dec 30, 2015

Bayesian Methods and Mixture Models参考文献 35被引用数 27

ひとこと要約

本稿では、ポアソンレートの時間的変動をモデル化するための新規なガンママルコフ連鎖を用いた、動的カウント行列およびバイナリ行列の非パrametricベイジアン要因分析モデルを提案する。ネガティブ二項分布のデータ拡張および周辺化技術を活用することで、閉形式の推論が可能となり、ガンマ過程を用いて要因数の自動推定が達成される。この手法は、テキストおよび音楽解析の応用において最先端の性能を達成する。

ABSTRACT

A gamma process dynamic Poisson factor analysis model is proposed to factorize a dynamic count matrix, whose columns are sequentially observed count vectors. The model builds a novel Markov chain that sends the latent gamma random variables at time $(t-1)$ as the shape parameters of those at time $t$, which are linked to observed or latent counts under the Poisson likelihood. The significant challenge of inferring the gamma shape parameters is fully addressed, using unique data augmentation and marginalization techniques for the negative binomial distribution. The same nonparametric Bayesian model also applies to the factorization of a dynamic binary matrix, via a Bernoulli-Poisson link that connects a binary observation to a latent count, with closed-form conditional posteriors for the latent counts and efficient computation for sparse observations. We apply the model to text and music analysis, with state-of-the-art results.

研究の動機と目的

• 列が逐次観測されたデータベクトルを表す動的カウント行列およびバイナリ行列の時間的変動をモデル化すること。
• 非マルコフ型ガンマ過程におけるガンマ形状母数の推定を、新規なデータ拡張および周辺化フレームワークを用いて効率的かつ実行可能にする課題に対処すること。
• 手動によるチューニングなしに潜在的要因数を自動的に推定できる柔軟な非パラメトリックベイジアン要因分析モデルの開発。
• ベルヌーイ・ポアソンリンク関数を用いることで、スパースな観測に対して効率的な推論を可能にする。
• 従来の動的行列因子分解モデルと比較して、実世界のテキストおよび音楽データセットにおいて優れた経験的性能を達成すること。

提案手法

• 時刻 t−1 の形状母数が時刻 t のガンマ分布レートを決定するガンママルコフ連鎖を提案：θt|θt−1 ∼ Gam(θt−1, 1/c)。
• 潜在的ガンマレート θt と観測されたカウント nt ∼ Pois(θt) の間でポアソン尤度を用いることで、動的カウント行列因子分解を実現。
• バイナリデータに対してベルヌーイ・ポアソンリンクを適用：bt = 1 if nt ≥ 1。これにより、切り捨てられたポアソン後確率に基づいて潜在的カウントを条件付きで更新可能。
• 潜在的要因数の非パラメトリック推定にガンマ過程事前分布を用い、無限に多くの要因を許容しつつ、自動的なモデル選択を可能にする。
• ネガティブ二項分布に対する新規なデータ拡張および周辺化技術を考案し、ガンマ形状母数の閉形式条件付き後確率を導出。
• ガンママルコフ連鎖をポアソン因子分析に統合し、共役事前分布および条件付き更新を用いることで、スパースな観測に対しても効率的な推論を実現。

実験結果

リサーチクエスチョン

• RQ1 ガンママルコフ連鎖は、非パラメトリックベイジアン枠組みにおいて、カウントおよびバイナリデータの時間的ダイナミクスを効果的にモデル化できるか？
• RQ2 非マルコフ型ガンマ過程におけるガンマ形状母数の推定を、どのようにして実行可能かつ効率的に可能にするか？
• RQ3 ガンマ過程事前分布を用いることで、手動によるチューニングなしに潜在的要因数を自動的に推定できるか？
• RQ4 ベルヌーイ・ポアソンリンクは、スパースな観測を持つ動的バイナリ行列の正確かつ効率的な因子分解を可能にするか？
• RQ5 提案手法は、実世界の動的カウントおよびバイナリ行列において、再構成精度および予測性能の面で最先端の手法と比較して優れているか？

主な発見

• GP-DPFAモデルは、テキストおよび音楽データセットにおいて最先端の性能を達成し、動的および非動的ベースラインを上回る。
• Conf.データセットでは、平均して約14の活性トピックが安定して発見され、潜在的要因の割り当てに顕著な時間的相関が確認された。
• 観測データと推定された潜在的カウントの間の相関プロットが互いに類似しており、元のデータが高精度で再構成されていることが裏付けられた。
• 非動的ベースラインと比較して、GP-DPFAにおける潜在的要因の相関は顕著に低く、より明確で解釈可能な要因が得られている。
• JSB choralesおよびPiano.midiデータセットでは、元のデータに弱いかつ明確な相関構造が見られない場合でも、潜在空間に明確な相関構造が現れる。
• 共役事前分布および閉形式の後確率を活用することで、スパースなバイナリ観測に対する効率的な推論が可能となり、計算負荷が低減された。