[论文解读] Fast Simulation of Hyperplane-Truncated Multivariate Normal Distributions

Yulai Cong, Bo Chen+1 more|arXiv (Cornell University)|Jul 16, 2016

Soil Geostatistics and Mapping参考文献 38被引用 9

一句话总结

本文提出了一种快速且精确的多变量正态（MVN）分布模拟算法，该分布被截断于超平面的交集上，通过基于投影的采样方法避免了昂贵的Cholesky分解。该方法可推广至具有结构化协方差或精度矩阵的MVN分布——特别是那些可分解为正定矩阵加上或减去一个低秩对称矩阵的形式——在高维情况下实现了线性计算复杂度。

ABSTRACT

We introduce a fast and easy-to-implement simulation algorithm for a multivariate normal distribution truncated on the intersection of a set of hyperplanes, and further generalize it to efficiently simulate random variables from a multivariate normal distribution whose covariance (precision) matrix can be decomposed as a positive-definite matrix minus (plus) a low-rank symmetric matrix. Example results illustrate the correctness and efficiency of the proposed simulation algorithms.

研究动机与目标

• 开发一种针对在超平面交集上截断的多变量正态分布的快速且精确的模拟算法。
• 解决传统方法（如Cholesky分解）在高维设置下计算效率低下的问题。
• 将超平面截断算法推广，以实现对具有结构化精度或协方差矩阵的MVN分布的高效采样。
• 在高维贝叶斯模型（如具有收缩先验的高维回归）中实现可扩展的后验采样。
• 为受限MVN模拟提供一种实用的Gibbs采样和哈密顿蒙特卡洛的替代方案，特别是在 $p \gg n$ 的情况下。

提出的方法

• 提出一种基于投影的采样方法，直接将标准MVN变量子映射到超平面交集 $\mathbf{G}\mathbf{x} = \mathbf{r}$ 上，避免中间变量。
• 利用多变量正态分布给定线性约束的条件分布，推导截断变量子的联合分布。
• 利用扩展后的高维MVN中协方差矩阵的分块对角结构来简化模拟。
• 将超平面截断算法应用于模拟精度矩阵为已知逆矩阵的低秩更新的MVN分布。
• 将该方法推广至处理协方差矩阵形式为 $\boldsymbol{\Sigma} = \mathbf{B}^{-1} + \mathbf{U}\mathbf{U}^T$ 的MVN分布，其中 $\mathbf{B}$ 可逆且 $\mathbf{U}$ 的秩较低。
• 实施两步采样方案：首先从分块对角MVN中采样，然后求解线性系统以获得最终的截断变量子。

实验结果

研究问题

• RQ1 我们能否比使用Cholesky分解或Gibbs采样更高效地从在超平面交集上截断的多变量正态分布中进行模拟？
• RQ2 我们如何利用精度矩阵或协方差矩阵中的低秩结构来加速高维模型中的MVN模拟？
• RQ3 与标准Cholesky方法相比，所提算法在高维设置下的计算复杂度如何？
• RQ4 在哪些场景下（如高维回归）该方法相较于现有方法能显著提升性能？
• RQ5 超平面截断算法能否推广以高效采样具有结构化精度矩阵的MVN分布？

主要发现

• 当低秩更新的大小固定时，所提算法在维度 $p$ 上实现了线性计算复杂度 $O(p)$，显著优于标准Cholesky分解的 $O(p^3)$ 复杂度。
• 模拟结果表明，当 $p \gg n$ 时，特别是高维回归设置下，使用超平面截断框架的算法4比朴素的Cholesky基采样快得多。
• 该方法使得在具有收缩先验（如贝叶斯lasso或horseshoe）的高维贝叶斯线性模型中实现高效后验采样成为可能，其中精度矩阵是某个对角矩阵的低秩更新。
• 该算法是精确的，避免了Gibbs采样或哈密顿蒙特卡洛在高维受限MVN问题中常见的混合问题和高计算成本。
• 实证评估证实，该方法在各种配置下（包括 $k_2 < k_1$ 且 $\boldsymbol{\Sigma}_{11}$ 具有适合快速采样的特殊结构时）均保持正确性和高效性。
• 该方法推广了现有方法（如Bhattacharya等，2016年提出的方法），当 $\boldsymbol{\Omega} = \mathbf{I}_n$ 时，可恢复其高效采样器作为特例。