[论文解读] Scalable Parallel Factorizations of SDD Matrices and Efficient Sampling for Gaussian Graphical Models

Dehua Cheng, Yu Cheng+3 more|arXiv (Cornell University)|Oct 20, 2014

Gaussian Processes and Bayesian Inference参考文献 16被引用 5

一句话总结

该论文提出了一种近乎最优、可扩展的并行算法，用于分解对称对角占优（SDD）矩阵，并实现从具有SDD精度矩阵的高斯图模型中高效抽样。通过结合矩阵平方、谱稀疏化和多项式逼近，该方法在并行机器上实现了近乎线性的工作量和对数多对数的深度，仅需 $ n $ 个独立同分布的单变量高斯样本即可完成抽样，且随机性复杂度达到最优。

ABSTRACT

Motivated by a sampling problem basic to computational statistical inference, we develop a nearly optimal algorithm for a fundamental problem in spectral graph theory and numerical analysis. Given an $n imes n$ SDDM matrix ${\bf \mathbf{M}}$, and a constant $-1 \leq p \leq 1$, our algorithm gives efficient access to a sparse $n imes n$ linear operator $ ilde{\mathbf{C}}$ such that $${\mathbf{M}}^{p} \approx ilde{\mathbf{C}} ilde{\mathbf{C}}^ op.$$ The solution is based on factoring ${\bf \mathbf{M}}$ into a product of simple and sparse matrices using squaring and spectral sparsification. For ${\mathbf{M}}$ with $m$ non-zero entries, our algorithm takes work nearly-linear in $m$, and polylogarithmic depth on a parallel machine with $m$ processors. This gives the first sampling algorithm that only requires nearly linear work and $n$ i.i.d. random univariate Gaussian samples to generate i.i.d. random samples for $n$-dimensional Gaussian random fields with SDDM precision matrices. For sampling this natural subclass of Gaussian random fields, it is optimal in the randomness and nearly optimal in the work and parallel complexity. In addition, our sampling algorithm can be directly extended to Gaussian random fields with SDD precision matrices.

研究动机与目标

• 开发一种适用于具有SDD精度矩阵的高斯随机场的可扩展并行抽样算法，以解决串行Gibbs抽样方法的局限性。
• 实现近乎线性的总工作量和对数多对数的并行深度，使其适用于大规模统计推断。
• 通过仅需每样本 $ n $ 个独立同分布的单变量高斯样本，将随机性复杂度降至最低，该复杂度为最优。
• 将近乎线性工作量求解SDD系统的方法框架扩展至图模型中的抽样问题。
• 提供SDDM矩阵的表征，以实现对 $ \mathbf{M}^p \approx \tilde{\mathbf{C}}\tilde{\mathbf{C}}^T $ 的高效稀疏分解，其中 $ p \in [-1,1] $。

提出的方法

• 该方法通过迭代矩阵平方和SDDM矩阵的谱稀疏化，构建稀疏低秩近似 $ \tilde{\mathbf{C}}\tilde{\mathbf{C}}^T \approx \mathbf{M}^p $。
• 利用切比雪夫多项式逼近 $ T_{-\frac{1}{2}p,t}(\cdot) $ 来近似矩阵函数（如 $ (\mathbf{I} - \mathbf{X})^p $），从而实现高效计算。
• 该算法采用递归因子分解框架，每一层应用变换 $ T_{-\frac{1}{2}p,t_i}(\mathbf{I} + \frac{1}{2}\mathbf{X}_i) $ 以逐步改进近似精度。
• 当 $ p = -1 $ 时，采用基于多项式预条件的迭代精炼过程，通过 $ O(\log(1/\epsilon)) $ 次多项式阶数实现 $ \epsilon $-近似精度。
• 该构造确保总误差累积为 $ \sum_{j=0}^d \epsilon_j $，且每步误差均受 $ \epsilon_j $-近似限制。
• 最终因子 $ \tilde{\mathbf{C}} $ 定义为 $ \mathbf{Z}_{-\frac{1}{2},0} $，满足 $ \tilde{\mathbf{C}}\tilde{\mathbf{C}}^T \approx_{\sum \epsilon_j} \mathbf{M}^{-1} $。

实验结果

研究问题

• RQ1 我们能否在具有SDD精度矩阵的高斯图模型中实现近乎线性的工作量和对数多对数的深度进行抽样？
• RQ2 是否能够仅使用 $ n $ 个独立同分布的单变量高斯样本，构建稀疏因子分解 $ \tilde{\mathbf{C}}\tilde{\mathbf{C}}^T \approx \mathbf{M}^p $，其中 $ p \in [-1,1] $？
• RQ3 能否将近乎线性SDD求解器的框架扩展至图模型中的高效并行抽样？
• RQ4 并行抽样SDDM高斯场所需的最小随机性复杂度是多少？
• RQ5 能否使用迭代精炼技术实现SDD矩阵的高精度逆平方根因子分解？

主要发现

• 该算法在具有 $ m $ 个处理器的并行机器上实现了近乎线性的工作量 $ O(m \cdot \text{polylog}(m)) $ 和对数多对数的深度 $ \text{polylog}(m) $，其中 $ m $ 为SDDM矩阵中非零元素的个数。
• 该方法仅需 $ n $ 个独立同分布的单变量高斯样本，即可从 $ n $ 维高斯随机场中生成一个样本，其随机性复杂度达到最优。
• 所构造的因子 $ \tilde{\mathbf{C}} $ 满足 $ \tilde{\mathbf{C}}\tilde{\mathbf{C}}^T \approx_{\epsilon} \mathbf{M}^p $，其中 $ p \in [-1,1] $，且误差受各层近似误差之和的限制。
• 当 $ p = -1 $ 时，迭代精炼过程通过 $ O(\log(1/\epsilon)) $ 阶多项式实现了 $ \epsilon $-精度的逆因子分解。
• 通过利用SDD矩阵与H-矩阵之间的相互可约性，该框架可扩展至SDD矩阵（不一定是正定矩阵）。
• 该算法首次提供了对SDDM高斯场的并行抽样方法，其在随机性复杂度上达到最优，且在工作量和深度上近乎最优。