[论文解读] Matrix Inversion Is As Easy As Exponentiation

Sushant Sachdeva, Nisheeth K. Vishnoi|arXiv (Cornell University)|May 2, 2013

Matrix Theory and Algorithms参考文献 5被引用 6

一句话总结

本文证明了对称正定矩阵的矩阵求逆在多项式对数因子范围内等价于矩阵指数运算，通过展示逆矩阵可近似为少量矩阵指数的加权和。关键结果依赖于欧拉-麦克拉林公式及黎曼ζ函数的界，从而实现了拉普拉斯求解器与基于指数的图算法之间的高效转换。

ABSTRACT

We prove that the inverse of a positive-definite matrix can be approximated by a weighted-sum of a small number of matrix exponentials. Combining this with a previous result [OSV12], we establish an equivalence between matrix inversion and exponentiation up to polylogarithmic factors. In particular, this connection justifies the use of Laplacian solvers for designing fast semi-definite programming based algorithms for certain graph problems. The proof relies on the Euler-Maclaurin formula and certain bounds derived from the Riemann zeta function.

研究动机与目标

• 建立对称正定矩阵的矩阵求逆与矩阵指数运算之间的等价性。
• 为半定规划和图问题中基于指数的算法使用拉普拉斯求解器提供理论依据。
• 通过稀疏矩阵指数和的显式构造，提供矩阵逆的可构造性近似。
• 将近线性时间拉普拉斯求解器的应用范围从图拉普拉斯矩阵扩展至一般正定矩阵。
• 使逼近理论中的分析技术对理论计算机科学领域的研究者更加易懂。

提出的方法

• 以积分恒等式 $ x^{-1} = \int_0^\infty e^{-xt} dt $ 为起点，用于近似逆函数。
• 应用欧拉-麦克拉林公式将积分离散化为格点上的求和，并通过被积函数的光滑性控制误差。
• 利用一个引理，对函数 $ f_x(s) = e^s e^{-x e^s} $ 的导数进行有界，该引理控制其关于 $ x $ 和导数的增长。
• 通过积分上界法截断无穷级数，确保误差保持在 $ \varepsilon $ 相对容差范围内。
• 构造显式的权重 $ w_j $ 和指数 $ t_j $，其与矩阵 $ A $ 无关，仅依赖于 $ \varepsilon $ 和 $ \delta $。
• 利用谱分解：由于标量近似对所有特征值 $ \lambda_i \in [\delta, 1] $ 成立，因此通过在特征向量上求和，可推出矩阵不等式。

实验结果

研究问题

• RQ1 矩阵求逆能否以仅多项式对数开销的方式归约为矩阵指数运算？
• RQ2 在基于指数的算法中使用拉普拉斯求解器是否必要，还是可以反过来？
• RQ3 正定矩阵的逆能否近似为稀疏矩阵指数和？
• RQ4 可用于控制此类近似误差的分析工具有哪些？
• RQ5 能否使近似参数独立于矩阵，同时保持精度？

主要发现

• 对于任意满足 $ \delta I \preceq A \preceq I $ 的对称正定矩阵 $ A $，其逆矩阵 $ A^{-1} $ 可以用 $ \mathrm{poly}(\log \frac{1}{\delta \varepsilon}) $ 个矩阵指数之和实现 $ \varepsilon $-近似。
• 近似中的权重 $ w_j $ 和指数 $ t_j $ 与 $ A $ 无关，仅依赖于 $ \varepsilon $ 和 $ \delta $，且可显式构造。
• 近似误差在正定序下被控制在 $ (1 \pm \varepsilon) $ 范围内，确保了矩阵层面的精度。
• 该方法依赖于对 $ x^{-1} $ 的变换积分表示应用欧拉-麦克拉林公式，误差通过导数有界性控制。
• 将无穷级数截断至有限区间 $ [A, B] $，确保尾部损失的总误差每侧不超过 $ \varepsilon / 3 $，主要误差被控制在 $ 8e^{-2N} \cdot x^{-1} \leq \varepsilon x^{-1}/3 $。
• 最终近似满足 $ \left| x^{-1} - h \sum_{j=A}^{B} e^{jh} e^{-x e^{jh}} \right| \leq \varepsilon x^{-1} $，从而证明了标量引理，也即矩阵结果。