[论文解读] A Fast Distributed Solver for Symmetric Diagonally Dominant Linear Equations

Rasul Tutunov, Haitham Bou-Ammar+1 more|arXiv (Cornell University)|Feb 11, 2015

Matrix Theory and Algorithms参考文献 14被引用 8

一句话总结

本文提出了一种用于对称对角占优M-矩阵（SDDM）的快速分布式求解器，通过将Spielman和Peng的并行求解器进行分布式化。其在$\mathcal{O}\left(n^{3}\frac{\alpha}{R}\frac{W_{\text{max}}}{W_{\text{min}}}\log\left(\frac{1}{\epsilon}\right)\right)$时间内实现$\epsilon$-接近解，相较于现有方法分别提升了$\log n$和$d(n)$（节点度数）的因子。

ABSTRACT

In this paper, we propose a fast distributed solver for linear equations given by symmetric diagonally dominant M-Matrices. Our approach is based on a distributed implementation of the parallel solver of Spielman and Peng by considering a specific approximated inverse chain which can be computed efficiently in a distributed fashion. Representing the system of equations by a graph $\mathbb{G}$, the proposed distributed algorithm is capable of attaining $ε$-close solutions (for arbitrary $ε$) in time proportional to $n^{3}$ (number of nodes in $\mathbb{G}$), $α$ (upper bound on the size of the R-Hop neighborhood), and $\frac{{W}_{max}}{{W}_{min}}$ (maximum and minimum weight of edges in $\mathbb{G}$).

研究动机与目标

• 开发一种可扩展的、用于求解对称对角占优M-矩阵（SDDM）线性系统的分布式算法。
• 将Spielman和Peng的并行求解器扩展至去中心化、分布式环境，并实现高效通信。
• 实现比现有迭代方法（如雅可比法）和近期异步求解器更快的收敛速度。
• 在分布式约束下，确保对一般SDDM系统收敛的同时，保持较低的计算复杂度。
• 分析并界定在分布式网络中实现$\epsilon$-精度解所需的操作数量。

提出的方法

• 该方法将Spielman和Peng的并行稀疏近似逆链求解器进行改造，以适用于去中心化计算。
• 采用R跳邻域通信模型，将信息交换限制在R跳范围内的节点之间，以减少开销。
• 算法构建一个近似逆链$\mathcal{C} = \{\bm{A}_0, \bm{D}_0, \dots, \bm{A}_d, \bm{D}_d\}$，其深度$d = \lceil \log(2\ln(\sqrt[3]{2}/(\sqrt[3]{2}-1))\kappa) \rceil$，以确保收敛。
• 通过基于该链的分布式迭代过程计算解，利用本地矩阵运算和邻域通信。
• 该方法确保在$\bm{M}_0$-范数下实现$\epsilon$-近似解，定义为$\|\bm{x}^* - \tilde{\bm{x}}\|_{\bm{M}_0} \leq \epsilon \|\bm{x}^*\|_{\bm{M}_0}$。
• 复杂度被限制在$\mathcal{O}\left(n^3 \frac{\alpha}{R} \frac{W_{\text{max}}}{W_{\text{min}}} \log(1/\epsilon)\right)$以内，其中$\alpha$是R跳邻域大小的上界。

实验结果

研究问题

• RQ1 Spielman和Peng的并行SDDM求解器能否在通信受限的节点网络中有效分布化？
• RQ2 在R跳通信约束下，实现$\epsilon$-精度解的计算复杂度是多少？
• RQ3 所提出的分布式求解器与现有迭代方法（如雅可比法和异步求解器）相比性能如何？
• RQ4 图的权重和邻域大小对分布式算法收敛速度有何影响？
• RQ5 该分布式算法能否在无需全局协调或稀疏矩阵分解的情况下维持快速收敛？

主要发现

• 所提出的分布式求解器在$\mathcal{O}\left(n^3 \frac{\alpha}{R} \frac{W_{\text{max}}}{W_{\text{min}}} \log(1/\epsilon)\right)$时间内实现$\epsilon$-接近解，其中$\alpha = \min\left\{n, \frac{d_{\text{max}}^{R+1}-1}{d_{\text{max}}-1}\right\}$。
• 与雅可比迭代相比，该算法在一般SDDM系统中将计算复杂度降低了$\log n$倍。
• 在一般情况下，其性能优于近期文献[16]提出的异步求解器$d(n)$（最大节点度数）倍。
• 该方法保证对所有对称对角占优M-矩阵收敛，推广了经典迭代求解器对严格对角占优的假设。
• 使用深度为$d = \lceil \log(2\ln(\sqrt[3]{2}/(\sqrt[3]{2}-1))\kappa) \rceil$的近似逆链，确保$\epsilon_d < \frac{1}{3}\ln 2$，这对收敛至关重要。
• 分布式实现保持了每个节点近乎线性的工作量和最坏情况下的对数多边形深度，与原始并行求解器的理论效率相匹配。