[論文レビュー] Poisson-Randomized Gamma Dynamical Systems

Aaron Schein, Scott W. Linderman+3 more|arXiv (Cornell University)|Oct 28, 2019

Bayesian Methods and Mixture Models被引用数 13

ひとこと要約

本稿では、逐次観測されたカウントテンソルを扱うための扱いやすいベイズモデルとして、ポアソン-ランダム化ガンマ動的システム（PRGDS）を導入する。このモデルは、閉形式の推論を可能にするために、離散的ポアソン状態と連続的ガンマ状態を交互に配置した構造を採用している。主な貢献は、ガンマ状態が正確にゼロを取り得るスパース版のPRGDSを提案したことである。このスパース版は、平滑化および予測タスクにおいて他のモデルを常に上回り、テキスト、国際的出来事、神経スパイク列といった実世界のデータから、一時的に局在する爆発的で局所的な潜在構造を独自に同定できる。

ABSTRACT

This paper presents the Poisson-randomized gamma dynamical system (PRGDS), a model for sequentially observed count tensors that encodes a strong inductive bias toward sparsity and burstiness. The PRGDS is based on a new motif in Bayesian latent variable modeling, an alternating chain of discrete Poisson and continuous gamma latent states that is analytically convenient and computationally tractable. This motif yields closed-form complete conditionals for all variables by way of the Bessel distribution and a novel discrete distribution that we call the shifted confluent hypergeometric distribution. We draw connections to closely related models and compare the PRGDS to these models in studies of real-world count data sets of text, international events, and neural spike trains. We find that a sparse variant of the PRGDS, which allows the continuous gamma latent states to take values of exactly zero, often obtains better predictive performance than other models and is uniquely capable of inferring latent structures that are highly localized in time.

研究の動機と目的

• 逐次観測されたカウントテンソルにおける複雑で爆発的な時間的ダイナミクスを捉えることが可能な、扱いやすいモデルの不足に対処すること。
• カウントデータにおけるスパarsityおよび爆発的ダイナミクスへの強いインダクティブバイアスを組み込んだベイズ潜在変数モデルの開発。
• 従来のポアソン-ガンマ状態空間モデルにおける非共役性の鎖に起因する不確実性を解消するため、新しいモデリングモチーフを導入すること。
• 高次元かつスパースなカウントテンソルにおいても、効率的かつスケーラブルな推論を可能にしつつ、複雑な依存構造を表現可能なモデルを維持すること。
• 実世界のデータにおけるモデルの性能を評価し、特に時間的に局在的で爆発的な潜在成分を独自に同定できる能力を示すこと。

提案手法

• 状態空間モデルにおける不確実な依存関係を解消するため、離散的ポアソン状態と連続的ガンマ状態を交互に配置する新しいモデリングモチーフを提案。
• 修正されたコンフリuentハイパージェオメトリック（SCH）分布と呼ばれる新しい離散分布とベッセル分布を用いて、すべての変数の閉形式の完全条件付き分布を導出。
• ガンマ状態が正確にゼロを取り得るPRGDSのスパース版を導入し、スパarsityおよび爆発的ダイナミクスへの強いインダクティブバイアスを組み込む。
• 解析的更新を用いた変分推論を採用し、大規模でスパースなカウントテンソルにおける効率的な事後分布計算を実現。
• 推論された潜在構造の定性的な比較のため、異なるモデル間の成分を対応付けるためにハンガリアン法を用いる。
• テキスト、国際的出来事データ、神経スパイク列といった実世界のデータセットにモデルを適用し、性能を評価。

実験結果

リサーチクエスチョン

• RQ1 カウントテンソル向けのベイズ状態空間モデルは、計算的扱いやすさと複雑な時間的ダイナミクスの表現力の両立を達成できるか？
• RQ2 ガンマ状態の間に離散的ポアソン潜在状態を導入することで、元来不確実なモデルにおいても閉形式推論が可能になるか？
• RQ3 PRGDSのスパース版は、非スパース版と比較して、爆発的で時間的に局在する潜在構造をよりよく捉えることができるか？
• RQ4 実世界のカウントデータにおいて、PRGDSはPGDSおよび他のベースラインと比較して、平滑化および予測性能で優れているか？
• RQ5 PRGDSは、神経データや出来事データにおいて、時間的に非常に局在的な潜在成分を独自に同定できる能力を持っているか？

主な発見

• 16件の研究すべてにおいて、スパース版のPRGDSは平滑化および予測タスクにおいて非スパース版を一貫して上回った。
• 8件の平滑化研究のうち5件で、スパースPRGDSはPGDSよりも高い情報量ゲインを達成した。残りの3件では性能が同等だった。
• 8件の予測研究のうち4件でPGDSがPRGDSを上回った。残りの4件では性能が同等だった。
• スパースPRGDSは、神経スパイク列データにおける短時間の成分や、一時的な国際的出来事連合といった、爆発的で時間的に局在する潜在構造を独自に同定できる。
• スパース版におけるガンマ状態の周辺期待値は、PGDSと一致しており、予測の時間枠が長くなるに従い増大する加法的項が存在しないため、予測性能の向上が説明できる可能性がある。
• 定性的な分析により、スパースPRGDSはPGDSや他のベースラインが捉えられなかった成分、特に短時間に集中する激しい活動を示す成分を同定していることが確認された。