[论文解读] Efficient Structured Matrix Recovery and Nearly-Linear Time Algorithms for Solving Inverse Symmetric $M$-Matrices

Arun Jambulapati, Kirankumar Shiragur+1 more|arXiv (Cornell University)|Dec 15, 2018

Sparse and Compressive Sensing Techniques参考文献 28被引用 5

一句话总结

本文提出了一种近乎线性时间的算法，用于求解逆对称 M-矩阵，这是一类广泛包含拉普拉斯矩阵和 SDD 矩阵的矩阵。通过仅使用多对数时间复杂度的自适应线性测量，恢复其谱近似。关键贡献是提出了一种 $\tilde{O}(n^2)$ 时间复杂度的算法来求解此类系统，显著优于基于标准矩阵乘法方法的 $O(n^\rho)$ 时间复杂度。

ABSTRACT

In this paper we show how to recover a spectral approximations to broad classes of structured matrices using only a polylogarithmic number of adaptive linear measurements to either the matrix or its inverse. Leveraging this result we obtain faster algorithms for variety of linear algebraic problems. Key results include: $\bullet$ A nearly linear time algorithm for solving the inverse of symmetric $M$-matrices, a strict superset of Laplacians and SDD matrices. $\bullet$ An $ ilde{O}(n^2)$ time algorithm for solving $n imes n$ linear systems that are constant spectral approximations of Laplacians or more generally, SDD matrices. $\bullet$ An $ ilde{O}(n^2)$ algorithm to recover a spectral approximation of a $n$-vertex graph using only $ ilde{O}(1)$ matrix-vector multiplies with its Laplacian matrix. The previous best results for each problem either used a trivial number of queries to exactly recover the matrix or a trivial $O(n^ω)$ running time, where $ω$ is the matrix multiplication constant. We achieve these results by generalizing recent semidefinite programming based linear sized sparsifier results of Lee and Sun (2017) and providing iterative methods inspired by the semistreaming sparsification results of Kapralov, Lee, Musco, Musco and Sidford (2014) and input sparsity time linear system solving results of Li, Miller, and Peng (2013). We hope that by initiating study of these natural problems, expanding the robustness and scope of recent nearly linear time linear system solving research, and providing general matrix recovery machinery this work may serve as a stepping stone for faster algorithms.

研究动机与目标

• 开发用于求解逆对称 M-矩阵中线性系统的高效算法，该类矩阵是拉普拉斯矩阵和 SDD 矩阵的严格超集。
• 仅通过与拉普拉斯矩阵的 $\tilde{O}(1)$ 次矩阵-向量乘积，恢复 $n$ 个顶点图的谱近似。
• 克服现有方法依赖快速矩阵乘法（$O(n^\rho)$ 时间）来解决此类问题的局限性，即使图结构存在。
• 将近期的半定规划与稀疏化技术推广，以实现近乎线性时间的矩阵恢复与系统求解。
• 建立一个通用的结构化矩阵恢复框架，使用少量自适应测量并提供可证明的保证。

提出的方法

• 利用对矩阵或其逆矩阵的自适应线性测量，以多对数查询复杂度恢复谱近似。
• 改编并扩展了 Lee 和 Sun（2017）基于半定规划的稀疏化技术，以适用于结构化矩阵。
• 采用受半流稀疏化（Kapralov 等，2014）和输入稀疏性线性系统求解器（Li 等，2013）启发的迭代方法。
• 使用 Johnson-Lindenstrauss 投影来高效近似预言机实现中的矩阵内积与二次型。
• 设计了一种专用预言机 ($\mathtt{MOracle}$)，其速度为 $1/2$，误差为 $\varepsilon$，运行时间为 $\widetilde{O}\left(\frac{1}{\gamma^4\rho^{O(1)}}\left(\mathcal{T}_{\mathbf{B}} + \mathcal{T}_{\mathbf{B}^{-1}} + \mathcal{T}_{MV} + \mathcal{T}_{QF}\right)\right)$。
• 应用打包半定规划结果（定理 5.1），以乘法近似方式求解目标系数和约束向量的变换优化问题。

实验结果

研究问题

• RQ1 是否可以仅使用多对数时间复杂度的自适应线性测量，恢复如逆对称 M-矩阵等结构化矩阵的谱近似？
• RQ2 即使矩阵是稠密的，是否也能在近乎线性时间内求解逆对称 M-矩阵中的线性系统？
• RQ3 是否可以仅使用 $\widetilde{O}(1)$ 次与拉普拉斯矩阵的矩阵-向量乘积，恢复 $n$ 个顶点图的谱稀疏化器？
• RQ4 如何将近乎线性时间线性系统求解的鲁棒性扩展至拉普拉斯矩阵之外更广泛的矩阵类别？
• RQ5 能否开发出通用的矩阵恢复机制，以实现此前依赖快速矩阵乘法的问题的更快算法？

主要发现

• 实现了求解 $n \times n$ 线性系统的 $\tilde{O}(n^2)$ 时间复杂度算法，该系统是拉普拉斯矩阵或 SDD 矩阵的常数谱近似。
• 开发出求解对称 $M$-矩阵逆矩阵的近乎线性时间算法，该类矩阵包括拉普拉斯矩阵和 SDD 矩阵作为特例。
• 本文表明，对称 $M$-矩阵的逆矩阵要么是块可分的，要么是稠密的，从而在两种情况下均可实现近乎线性时间求解。
• 仅通过与拉普拉斯矩阵的 $\tilde{O}(1)$ 次矩阵-向量乘积，即可恢复 $n$ 个顶点图的谱近似。
• 所提出的预言机 ($\mathtt{MOracle}$) 的运行时间为 $\widetilde{O}\left(\frac{1}{\gamma^4\rho^{O(1)}}\left(\mathcal{T}_{\mathbf{B}} + \mathcal{T}_{\mathbf{B}^{-1}} + \mathcal{T}_{MV} + \mathcal{T}_{QF}\right)\right)$，支持高效实现。
• 该框架以高概率实现优化问题的 $(1 - O(\delta))$-近似解，时间复杂度为 $O(\mathcal{W}_{L,\delta} \log m \cdot \log(nm/\delta)/\delta^3)$。