[论文解读] Bayesian Multinomial Logistic Normal Models through Marginally Latent Matrix-T Processes

Justin D. Silverman, Kimberly Roche+3 more|arXiv (Cornell University)|Mar 27, 2019

Bayesian Methods and Mixture Models参考文献 29被引用 40

一句话总结

本文提出 Marginally Latent Matrix-T Process，以实现对 multinomial logistic-normal 模型的快速、可扩展贝叶斯推断，配合 collapse-uncollapse (CU) sampler 与 Laplace 近似，在效率上相较于传统 MCMC 方法有显著提升。

ABSTRACT

Bayesian multinomial logistic-normal (MLN) models are popular for the analysis of sequence count data (e.g., microbiome or gene expression data) due to their ability to model multivariate count data with complex covariance structure. However, existing implementations of MLN models are limited to handling small data sets due to the non-conjugacy of the multinomial and logistic-normal distributions. We introduce MLN models which can be written as marginally latent matrix-t process (LTP) models. Marginally LTP models describe a flexible class of generalized linear regression, non-linear regression, and time series models. We develop inference schemes for Marginally LTP models and, through application to MLN models, demonstrate that our inference schemes are both highly accurate and often 4-5 orders of magnitude faster than MCMC.

研究动机与目标

• 为在用于多变量计数数据的 multinomial logistic-normal (MLN) 模型中推动高效的贝叶斯推断。
• 将 Marginally Latent Matrix-T Process (Marginally LTP) 作为一个可推广的框架，涵盖 MLN 模型。
• 开发 Collapse-Uncollapse (CU) 采样器，以从已塌缩的 LTP 形式中采样，然后再展开至完整模型。
• 提供用于加速对塌缩形式采样的 Laplace 近似，并演示在大型 D 与 N 情况下的可扩展性。
• 提供软件实现（R 包 stray）及用于仿真与微生物组数据的可重复结果。

提出的方法

• 将 MLN 线性模型与加性对数比变换及矩阵正态先验进行定义。
• 将 Marginally Latent Matrix-T Process (Marginally LTP) 作为潜在表示，对潜在矩阵进行边际化以获得矩阵-T 过程。
• 开发 Collapse-Uncollapse (CU) 采样器，在 p(eta|Y) 与 p(Psi|eta,Y) 之间交替采样。
• 利用 MAP 与 log p(eta|Y) 的 Hessian 推导出对塌缩形式采样的 Laplace 近似 q(eta|Y)，以加速采样。
• 展示 p(Psi|eta,Y) 如何简化为 GMCL 与 GMDLM 子集的标准贝叶斯高斯模型。
• 提供软件 stray 并提供可重复结果的开源代码。

实验结果

研究问题

• RQ1 如何在不采用低秩或滑动窗口方法的情况下，使 MLN 模型对数百或上千类别和样本具备可扩展性？
• RQ2 Marginally LTP 是否能在广义线性和时间序列设置下，为 MLN 及相关模型提供准确且快速的后验推断？
• RQ3 带有 Laplace 近似的塌缩-展开推断方案，在准确性与效率上是否能匹配或超越现有的 MCMC/VB 方法？
• RQ4 在高维计数数据模型中，使用 Laplace 近似的塌缩采样对推断质量有哪些影响？

主要发现

• Marginally LTP 框架将 GMCL 与 GMDLM 纳入特例，提供广泛的建模灵活性。
• CU 采样器首先从塌缩的 LTP p(eta|Y) 进行采样，然后再采样 p(Psi|eta,Y)，在 MLN 场景下实现了显著的计算性能提升，相较于全 MCMC。
• 对 p(eta|Y) 的 Laplace 近似在塌缩形式采样中进一步提升速度，并提供准确的后验近似。
• 在仿真中，CU 采样器结合 Laplace 近似在 MLN 模型中表现出高精度和效率提升（相对 HMC Uncollapsed 与 VB 变体）。
• 作者提供 stray R 包和 GitHub 代码，以复现实验与微生物组数据分析。