[论文解读] A note on MCMC for nested multilevel regression models via belief propagation

Omiros Papaspiliopoulos, Giacomo Zanella|arXiv (Cornell University)|Apr 20, 2017

Gaussian Processes and Bayesian Inference参考文献 7被引用 7

一句话总结

该论文通过利用信念传播，提出了一种高效的马尔可夫链蒙特卡洛（MCMC）算法，用于嵌套多层回归模型，可对给定超参数的回归系数的高维高斯后验分布进行精确采样。该方法在参数数量上实现线性时间复杂度，并通过利用图模型结构和稀疏精度矩阵，处理了奇异协方差结构，包括跨层级的线性约束。

ABSTRACT

In the quest for scalable Bayesian computational algorithms we need to exploit the full potential of existing methodologies. In this note we point out that message passing algorithms, which are very well developed for inference in graphical models, appear to be largely unexplored for scalable inference in Bayesian multilevel regression models. We show that nested multilevel regression models with Gaussian errors lend themselves very naturally to the combined use of belief propagation and MCMC. Specifically, the posterior distribution of the regression parameters conditionally on covariance hyperparameters is a high-dimensional Gaussian that can be sampled exactly (as well as marginalized) using belief propagation at a cost that scales linearly in the number of parameters and data. We derive an algorithm that works efficiently even for conditionally singular Gaussian distributions, e.g., when there are linear constraints between the parameters at different levels. We show that allowing for such non-invertible Gaussians is critical for belief propagation to be applicable to a large class of nested multilevel models. From a different perspective, the methodology proposed can be seen as a generalization of forward-backward algorithms for sampling to multilevel regressions with tree-structure graphical models, as opposed to single-branch trees used in classical Kalman filter contexts.

研究动机与目标

• 解决大规模嵌套多层回归模型在贝叶斯推断中的可扩展性挑战。
• 为超参数条件下的回归系数后验分布开发精确采样算法。
• 将信念传播扩展至处理由层次模型中线性约束引起的条件奇异高斯分布。
• 提供一个统一的计算框架，将信念传播与稀疏线性代数相结合，实现高效的后验计算。
• 通过将混合效应模型视为嵌套多层结构的特例，证明该方法的适用性。

提出的方法

• 使用具有变量节点和因子节点的因子图，将回归参数的联合后验分布表示为高斯图模型。
• 在因子图上通过前向-后向消息传递应用信念传播，以计算精确的边缘分布并从完整后验中进行采样。
• 推导出在节点间传播充分统计量的消息传递方程，利用条件密度的积分和传入消息的乘积。
• 通过使用高斯分布的自然参数化形式，处理不可逆的先验协方差矩阵，即使在存在线性约束的情况下也能实现精确计算。
• 利用潜在高斯模型中精度矩阵的稀疏性，确保计算效率，使复杂度随参数数量线性增长。
• 将信念传播框架与现有的稀疏线性代数技术相结合，高效计算Cholesky分解，利用精度矩阵中已知的零模式。

实验结果

研究问题

• RQ1 信念传播能否用于在嵌套多层模型中对回归系数的后验分布进行精确MCMC采样？
• RQ2 当先验协方差矩阵奇异或受约束时，所提出的方法是否仍能保持在参数数量上的线性时间复杂度？
• RQ3 信念传播如何适应多层模型中跨层级参数之间的线性依赖关系？
• RQ4 在层次回归的高斯图模型背景下，信念传播、卡尔曼滤波与稀疏线性代数之间存在何种关系？
• RQ5 能否通过将混合效应模型视为嵌套多层结构的特例，将该框架扩展至混合效应模型？

主要发现

• 在给定超参数的条件下，回归系数的后验分布为高维高斯分布，可通过信念传播实现精确采样。
• 该算法在参数数量和数据点数量上均实现线性时间复杂度，适用于大规模模型。
• 即使在条件奇异高斯分布（如由不同层级参数间的线性约束引起的分布）下，该方法仍保持有效且高效。
• 信念传播框架通过将混合效应模型视为具有结构化先验协方差矩阵的嵌套多层结构，成功处理了混合效应模型。
• 该方法提供了一个统一的计算框架，将图模型、信念传播与稀疏线性代数相连接，实现高效的后验计算。
• 该研究建立了信念传播与卡尔曼滤波之间的清晰联系，表明在高斯树模型中消息传递等价于卡尔曼递推，对可扩展的贝叶斯推断具有广泛影响。