[论文解读] Fast symmetric factorization of hierarchical matrices with applications

Sivaram Ambikasaran, Michael O’Neil+1 more|arXiv (Cornell University)|May 1, 2014

Electromagnetic Scattering and Analysis参考文献 36被引用 12

一句话总结

本文提出了一种针对对称正定层级矩阵（特别是HODLR矩阵）的快速对称分解算法，通过一种新颖的低秩更新公式与递归分治策略，实现$Ó(n\log^2 n)$的复杂度。该方法使矩阵求逆、行列式计算以及相关随机变量生成的计算成本降至$Ó(n\log n)$，在高斯过程、径向基函数和布朗运动模拟中均验证了其良好的可扩展性。

ABSTRACT

We present a fast direct algorithm for computing symmetric factorizations, i.e. $A = WW^T$, of symmetric positive-definite hierarchical matrices with weak-admissibility conditions. The computational cost for the symmetric factorization scales as $\mathcal{O}(n \log^2 n)$ for hierarchically off-diagonal low-rank matrices. Once this factorization is obtained, the cost for inversion, application, and determinant computation scales as $\mathcal{O}(n \log n)$. In particular, this allows for the near optimal generation of correlated random variates in the case where $A$ is a covariance matrix. This symmetric factorization algorithm depends on two key ingredients. First, we present a novel symmetric factorization formula for low-rank updates to the identity of the form $I+UKU^T$. This factorization can be computed in $\mathcal{O}(n)$ time if the rank of the perturbation is sufficiently small. Second, combining this formula with a recursive divide-and-conquer strategy, near linear complexity symmetric factorizations for hierarchically structured matrices can be obtained. We present numerical results for matrices relevant to problems in probability \& statistics (Gaussian processes), interpolation (Radial basis functions), and Brownian dynamics calculations in fluid mechanics (the Rotne-Prager-Yamakawa tensor).

研究动机与目标

• 开发一种针对统计学、机器学习和物理学中出现的大规模稠密对称正定层级矩阵的快速直接对称分解方法。
• 通过利用层级低秩结构，克服标准Cholesky分解的$Ó(n^3)$计算成本。
• 当$A$为协方差矩阵时，实现近似最优的相关随机变量生成。
• 将该算法扩展至径向基函数插值与布朗运动应用，特别是使用Rotne-Prager-Yamakawa张量。
• 在具有弱可适性与嵌套低秩基的矩阵上实现可扩展性能，包括HODLR与HSS结构。

提出的方法

• 提出一种新颖的对单位矩阵进行低秩更新的对称分解公式：$I + UKU^T$，当秩$r$较小时，可在$Ó(n)$时间内计算。
• 在分治框架中递归应用该公式以分解层级矩阵，保持近线性复杂度。
• 采用基于树的层级矩阵结构，其中非对角块在弱可适性条件下被近似为低秩矩阵。
• 将因子$W$构造为对单位矩阵的一系列块低秩更新的乘积，避免Cholesky分解中的三角结构。
• 利用嵌套低秩基压缩非对角块，实现高效的递归分解。
• 将算法适配于不同类型的矩阵，包括Matérn协方差核与RPY迁移率张量，其秩随维度增长而变化。

实验结果

研究问题

• RQ1 能否在近线性时间内计算大规模稠密对称正定层级矩阵的对称分解？
• RQ2 一种针对$I + UKU^T$的新颖低秩更新公式，是否能实现比传统基于Cholesky的方法更快的对称分解？
• RQ3 对于具有弱可适性与嵌套低秩结构的HODLR矩阵，对称分解的计算复杂度是多少？
• RQ4 在使用Rotne-Prager-Yamakawa张量的高斯过程与布朗运动模拟中，该算法的可扩展性如何？
• RQ5 该方法能否扩展至具有可变非对角块秩的矩阵，如二维与三维粒子分布中的矩阵？

主要发现

• HODLR矩阵的对称分解复杂度为$Ó(n\log^2 n)$，显著优于标准Cholesky分解的$Ó(n^3)$成本。
• 一旦完成分解，矩阵求逆、行列式计算以及$W$的矩阵乘法操作复杂度均为$Ó(n\log n)$，支持高效的下游计算。
• 对于Rotne-Prager-Yamakawa张量，由于非对角块秩随维度增长，2D下复杂度为$Ó(n^2)$，3D下为$Ó(n^{7/3})$。
• 数值基准测试验证了在1D、2D与3D中Matérn协方差核的预测复杂度，对应容差分别为$10^{-12}$、$10^{-9}$与$10^{-6}$。
• 通过在独立标准正态分布上应用$W$，该方法实现了高斯过程相关随机变量的近似最优生成，计算成本为$Ó(n\log n)$。
• 该算法可自然扩展至其他层级结构（如HSS矩阵），当使用嵌套低秩基时，复杂度为$Ó(p^2 n)$。