[論文レビュー] Poisson Random Fields for Dynamic Feature Models

Valerio Perrone, Paul A. Jenkins+2 more|arXiv (Cornell University)|Nov 22, 2016

Bayesian Methods and Mixture Models被引用数 19

ひとこと要約

本稿では、Wright-Fisher拡散に基づくPoissonランダムフィールドを用いて特徴の確率をモデリングすることにより、時間に依存するデータに一般化されたインディアン・バーガー過程（IBP）を拡張したベイズ非パラメトリックモデル、Wright-Fisherインディアン・バーガー過程（WF-IBP）を提案する。このモデルは連続時間における特徴の出生・死滅を許容する動的特徴割り当てを可能にし、時間的変化を伴う特徴の進化を記述する。また、新規のMCMCアルゴリズムにより正確な事後分布推論を実現しており、合成データおよび29年間分のNIPS論文コーパス（1987–2015）での評価を通じて、トピックの進化をより良好にモデル化することを確認した。

ABSTRACT

We present the Wright-Fisher Indian buffet process (WF-IBP), a probabilistic model for time-dependent data assumed to have been generated by an unknown number of latent features. This model is suitable as a prior in Bayesian nonparametric feature allocation models in which the features underlying the observed data exhibit a dependency structure over time. More specifically, we establish a new framework for generating dependent Indian buffet processes, where the Poisson random field model from population genetics is used as a way of constructing dependent beta processes. Inference in the model is complex, and we describe a sophisticated Markov Chain Monte Carlo algorithm for exact posterior simulation. We apply our construction to develop a nonparametric focused topic model for collections of time-stamped text documents and test it on the full corpus of NIPS papers published from 1987 to 2015.

研究の動機と目的

• 特徴数が未知でかつ無限にまで拡張可能な状況において、時間依存する特徴の依存関係を捉える非パラメトリックベイズモデルの構築を目的とする。
• 連続時間確率過程を用いて特徴の出現頻度を時間的にモデリングすることで、インディアン・バーガー過程を動的設定に拡張することを目的とする。
• 集団遺伝学におけるPoissonランダムフィールドフレームワークを活用し、解釈可能な生物学的・確率的性質を持つ時間発展型ベータ過程を構築することを目的とする。
• 新規で効率的なMCMCアルゴリズムを用いて、動的特徴割り当てにおける正確な事後分布推論を可能にすることを目的とする。
• 時間スタンプが付与されたテキストデータにモデルを適用し、時間経過に伴うトピック人気の変化を捉える集中型トピックモデリングを目的とする。

提案手法

• モデルは、Wright-Fisher拡散に基づく修正されたPoissonランダムフィールド（PRF）を用い、特徴の確率の時間的変化を制御する。これにより、特徴の出生・死滅を時間的に記述可能となる。
• 各特徴の活性化確率は、集団遺伝学から導出された漂移係数および拡散係数を持つ、時定常な拡散過程に従って独立に変化する。
• 得られる確率過程は、時間に依存するベータ過程を定義し、固定時間点においては、2パラメータのインディアン・バーガー過程を周辺分布として回復する。
• トピックの割り当て、特徴インジケータ、トピック-語パラメータのための完全条件分布を含む、正確な事後分布シミュレーションを可能にする新規なマルコフ連鎖モンテカルロ（MCMC）アルゴリズムを開発した。
• 合成データ評価のため線形ガウス尤度と組み合わせ、時間スタンプが付与された文書に適した非パラメトリックな集中型トピックモデルに応用した。
• ギブスサンプラーは共役事前分布を用い、ディリクレ-カテゴリカルおよびネガティブ二項分布の共役性を活用して、トピックの割り当ておよび特徴の存在の効率的サンプリングを導出している。

実験結果

リサーチクエスチョン

• RQ1 特徴集合が無限にまで拡張可能である状況において、無限特徴集合を許容する時間依存的特徴割り当てを可能にする非パラメトリックベイズモデルをどのように構築できるか？
• RQ2 集団遺伝学におけるPoissonランダムフィールドモデルを、連続時間的ダイナミクスを持つ依存的インディアン・バーガー過程を生成するために適応可能か？
• RQ3 動的特徴割り当てにおける特徴の出生・死滅をモデリングするにあたり、Wright-Fisher拡散を用いることの意味は何か？
• RQ4 複雑な依存構造を持つ時間発展型非パラメトリックモデルにおいて、正確な事後分布推論をどのように実現できるか？
• RQ5 本稿で提案するモデルは、静的モデルやHDPベースのモデルと比較して、長期的文書コレクションにおけるトピック進化のモデリングをどの程度改善するか？

主な発見

• WF-IBPモデルは、連続時間的かつマルコフ的かつ交換可能なプロセスとして特徴の確率が時間的に変化することを正確に捉えている。
• 任意の固定時間点において、モデルは周辺分布として2パラメータのインディアン・バーガー過程を回復しており、静的非パラメトリックモデルと整合性を保っている。
• MCMCアルゴリズムにより正確な事後分布シミュレーションが可能であり、共役事前分布を用いた完全条件分布の導出と、トピックの割り当ておよび特徴インジケータの効率的サンプリングが実現されている。
• 合成データでは、真の時間的変化を示す特徴構造を正確に回復しており、適切な推論と収束を示している。
• NIPSコーパス（1987–2015）では、研究テーマの出現・衰退といった意味のあるトピック進化パターンを同定しており、静的モデルやHDPベースのモデルと比較して解釈性が向上している。
• 本モデルは、トピック頻度と文書ごとの語頻度の間の結合性を解消しており、階層ディリクレ過程（HDP）などのモデルにおける主要な制限要因を克服している。