[論文レビュー] Bayesian Multinomial Logistic Normal Models through Marginally Latent Matrix-T Processes

Justin D. Silverman, Kimberly Roche+3 more|arXiv (Cornell University)|Mar 27, 2019

Bayesian Methods and Mixture Models参考文献 29被引用数 40

ひとこと要約

本論文は Marginally Latent Matrix-T Processes を導入し、多項ロジスティック-ノーマルモデルの高速でスケーラブルなベイズ推論を実現する。collapse-uncollapse (CU) sampler と Laplace 近似により、従来の MCMC アプローチより著しく効率が向上する。

ABSTRACT

Bayesian multinomial logistic-normal (MLN) models are popular for the analysis of sequence count data (e.g., microbiome or gene expression data) due to their ability to model multivariate count data with complex covariance structure. However, existing implementations of MLN models are limited to handling small data sets due to the non-conjugacy of the multinomial and logistic-normal distributions. We introduce MLN models which can be written as marginally latent matrix-t process (LTP) models. Marginally LTP models describe a flexible class of generalized linear regression, non-linear regression, and time series models. We develop inference schemes for Marginally LTP models and, through application to MLN models, demonstrate that our inference schemes are both highly accurate and often 4-5 orders of magnitude faster than MCMC.

研究の動機と目的

• 多変量カウントデータに用いられる multinomial logistic-normal (MLN) モデルの効率的なベイズ推論を動機づける。
• Marginally Latent Matrix-T Process (Marginally LTP) を MLN モデルを包含する一般化可能な枠組みとして導入する。
• Collapse-Uncollapse (CU) サンプラーを開発し、崩壊した LTP 形からサンプリングしてから全モデルへ展開する。
• 崩壊形のサンプリングを加速する Laplace 近似を提供し、大規模な D および N へのスケーラビリティを実証する。
• シミュレーションと微生物叢データの再現性のある結果を保証するソフトウェア実装（R パッケージ stray）を提供する。

提案手法

• 加法性対数比変換と行列正規分布を前提とする MLN 線形モデルを定義する。
• latent 行列を周辺化して matrix-T プロセスを得る潜在表現として Marginally Latent Matrix-T Process (Marginally LTP) を導入する。
• p(eta|Y) と p(Psi|eta,Y) を交互にサンプリングする Collapse-Uncollapse (CU) サンプラーを開発する。
• 対数 p(eta|Y) の MAP およびヘッセ行列を用いた Laplace 近似 q(eta|Y) を導出し、崩壊形のサンプリングを加速する。
• p(Psi|eta,Y) が GMCL および GMDLM のサブセットに対して標準的なベイズ Gaussian モデルへ縮約されることを示す。
• 再現のための stray を含むソフトウェアとオープンソースコードを提供する。

実験結果

リサーチクエスチョン

• RQ1 MLN モデルを低ランク化やウィンドウ処理を用いずに、100カテゴリや数千のサンプルに対してどのようにスケーラブルにできるか。
• RQ2 Marginally LTP が一般化線形モデルや時系列設定を跨いだ MLN および関連モデルに対して、正確で高速な後方推論を提供できるか。
• RQ3 Laplace 近似を用いた崩壊-展開推論スキームは、既存の MCMC/VB アプローチと比べて精度と効率の点で同等または上回るか。
• RQ4 高次元カウントデータモデルにおける崩壊サンプリングの Laplace 近似が推論品質に与える影響はどのようか。

主な発見

• Marginally LTP フレームワークは GMCL および GMDLM を特別な場合として包含し、広範なモデリングの柔軟性を実現する。
• CU サンプラーはまず崩壊した LTP p(eta|Y) からサンプリングし、その後 p(Psi|eta,Y) をサンプリングすることで、MLN コンテキストにおける全 MCMC より大幅な計算効率を達成する。
• p(eta|Y) への Laplace 近似は崩壊形の後方推定を正確に近似し、さらなる速度向上をもたらす。
• シミュレーション全体で、CU サンプラーと Laplace 近似は MLN モデルに対して高い正確さと効率の改善を示した（HMC Uncollapsed および VB 変種と比較）。
• 著者は simulations および microbiome データ分析を再現する stray R パッケージと GitHub コードを提供する。