[论文解读] A Divide and Conquer Strategy for High Dimensional Bayesian Factor Models

Gautam Sabnis, Debdeep Pati+2 more|arXiv (Cornell University)|Dec 9, 2016

Bayesian Methods and Mixture Models参考文献 18被引用 4

一句话总结

本文提出了一种新颖的分而治之框架，用于高维贝叶斯因子模型，该框架分割维度 $ p $ 而非样本量 $ n $，从而实现在多个核心上的并行计算。通过在潜变量因子上引入层次结构，该方法高效捕捉了跨维度依赖关系，同时在全模型推断方面实现了数量级的加速。

ABSTRACT

We propose a distributed computing framework, based on a divide and conquer strategy and hierarchical modeling, to accelerate posterior inference for high-dimensional Bayesian factor models. Our approach distributes the task of high-dimensional covariance matrix estimation to multiple cores, solves each subproblem separately via a latent factor model, and then combines these estimates to produce a global estimate of the covariance matrix. Existing divide and conquer methods focus exclusively on dividing the total number of observations $n$ into subsamples while keeping the dimension $p$ fixed. Our approach is novel in this regard: it includes all of the $n$ samples in each subproblem and, instead, splits the dimension $p$ into smaller subsets for each subproblem. The subproblems themselves can be challenging to solve when $p$ is large due to the dependencies across dimensions. To circumvent this issue, we specify a novel hierarchical structure on the latent factors that allows for flexible dependencies across dimensions, while still maintaining computational efficiency. Our approach is readily parallelizable and is shown to have computational efficiency of several orders of magnitude in comparison to fitting a full factor model. We report the performance of our method in synthetic examples and a genomics application.

研究动机与目标

• 为解决高维贝叶斯因子模型中 $ p $ 较大时的后验推断计算瓶颈。
• 通过将维度 $ p $ 分发到多个核心而非子采样 $ n $，实现可扩展且可并行化的推断。
• 开发一种层次化建模框架，在‘合并’阶段保留后验不确定性并捕捉维度间的依赖关系。
• 在高维设置下实现显著的计算效率提升，同时不牺牲统计准确性。

提出的方法

• 该方法通过将高维数据按维度 $ p $ 划分为不相交的子集，形成多个子问题，每个子问题在独立的核心上处理。
• 每个子问题采用潜变量因子模型，并在因子载荷上使用收缩先验以诱导稀疏性并确保计算可行性。
• 在潜变量因子上引入两级层次先验，以建模跨维度依赖关系，实现灵活且一致的全局估计。
• 通过吉布斯采样器对 $ X_i $、$ Z_i^{(m)} $、$ heta_i^{(m)} $、$ oldsymbol{eta}_j^{(m)} $、$ oldsymbol{ au}_j^{(m)} $ 和 $ oldsymbol{ ho} $ 的条件分布进行循环更新，同时在各核心间共享信息。
• 通过利用层次结构组合子估计，构建全局协方差估计，从而保留维度间的不确定性与依赖结构。
• 该方法设计为易于并行化，每个核心处理变量子集，并通过共享的后验量交换汇总统计信息。

实验结果

研究问题

• RQ1 一种不基于样本量 $ n $ 而是基于维度 $ p $ 划分的分而治之策略，能否在高维贝叶斯因子模型中实现可扩展的推断？
• RQ2 在分布式框架中，如何灵活地建模子估计合并过程中的跨维度依赖关系？
• RQ3 与全模型 MCMC 推断相比，该方法在高维设置下的计算效率增益如何？
• RQ4 所提出的潜变量因子上的层次先验是否能充分捕捉后验不确定性和维度间的依赖关系？

主要发现

• 与拟合完整贝叶斯因子模型相比，所提方法在计算效率上实现了数个数量级的提升。
• 潜变量因子上的层次先验在保持计算效率的同时，实现了对维度间依赖关系的灵活建模。
• 该方法成功保留了后验不确定性与统计保真度，优于以往分而治之方法中使用的简单平均方案。
• 在合成数据与基因组学应用中的实证结果表明，该方法能准确恢复真实的协方差结构与因子载荷。
• 通过利用各核心间共享的后验量，吉布斯采样器能高效收敛，从而实现可扩展的后验计算。
• 该框架在全模型 MCMC 因内存与计算限制而不可行的高维设置下表现出强健性。